[논문 리뷰] Self domain adapted network

Yufan He, Aaron Carass외 3명|arXiv (Cornell University)|2020. 07. 07.

Domain Adaptation and Few-Shot Learning참고 문헌 26인용 수 4

한 줄 요약

이 논문은 의료 영상에서 빠르고 자기지도 학습 도메인 적응을 위한 새로운 방법인 Self Domain Adapted Network(SDA-Net)을 제안한다. 이 방법은 재학습이나 소스 데이터 접근 없이 추론 시점에 단일 테스트 환자에 대해 사전 학습된 모델을 적응시킨다. 자동에코더를 활용한 정렬 지표와 픽셀, 특징, 출력 공간에 대한 학습 가능한 어댑터를 사용함으로써, SDA-Net은 30초 내로 한 환자당 적응이 가능한 빠른 성능 향상을 이룩한다. 특히 망막 층 분할 및 T1에서 T2 MRI로의 합성 작업에서 뚜렷한 성능 향상을 보였다.

ABSTRACT

Domain shift is a major problem for deploying deep networks in clinical practice. Network performance drops significantly with (target) images obtained differently than its (source) training data. Due to a lack of target label data, most work has focused on unsupervised domain adaptation (UDA). Current UDA methods need both source and target data to train models which perform image translation (harmonization) or learn domain-invariant features. However, training a model for each target domain is time consuming and computationally expensive, even infeasible when target domain data are scarce or source data are unavailable due to data privacy. In this paper, we propose a novel self domain adapted network (SDA-Net) that can rapidly adapt itself to a single test subject at the testing stage, without using extra data or training a UDA model. The SDA-Net consists of three parts: adaptors, task model, and auto-encoders. The latter two are pre-trained offline on labeled source images. The task model performs tasks like synthesis, segmentation, or classification, which may suffer from the domain shift problem. At the testing stage, the adaptors are trained to transform the input test image and features to reduce the domain shift as measured by the auto-encoders, and thus perform domain adaptation. We validated our method on retinal layer segmentation from different OCT scanners and T1 to T2 synthesis with T1 from different MRI scanners and with different imaging parameters. Results show that our SDA-Net, with a single test subject and a short amount of time for self adaptation at the testing stage, can achieve significant improvements.

연구 동기 및 목표

• 다른 스캐너나 프로토콜에서 온 테스트 데이터로 인해 모델 성능이 떨어지는 임상 딥러닝에서의 도메인 이동 문제를 해결한다.
• 각 타겟 도메인에 대해 재학습이 필요하고 타겟 또는 소스 데이터에 접근이 필요한 기존의 비지도 도메인 적응(UDA) 방법의 한계를 극복한다.
• 특히 데이터 프라이버시 제약 조건 하에서, 추가 데이터나 모델 재학습 없이 추론 시점에 단일 환자에 대해 신속하게 적응할 수 있도록 한다.
• 다양한 영상 파rameter와 스캐너 유형에 걸쳐 분할 및 영상 합성과 같은 의료 영상 작업에서 높은 성능을 유지할 수 있는 방법을 개발한다.

제안 방법

• SDA-Net은 세 가지 구성 요소로 이루어져 있다: 작업용 사전 학습된 네트워크(T), 도메인 정렬을 측정하기 위한 사전 학습된 자동에코더(AE), 특징 및 영상 변환을 위한 학습 가능한 어댑터이다.
• 추론 시점에 어댑터는 단일 타겟 환자에서 재구성 오차를 최소화하도록 훈련되어, 픽셀, 특징, 출력 공간에서 타겟 도메인을 소스 도메인과 정렬한다.
• 자기에코더는 재구성 오차를 측정함으로써 도메인 정렬 지표로 기능한다. 낮은 오차는 소스 도메인 분포에 더 가까운 정렬을 의미한다.
• 어댑터는 여러 수준에 적용된다: 입력 영상(Ax), 중간 특징(Ai), 네트워크 출력(Ao)이며, 적응 과정에서 Ax와 Ai만 훈련된다.
• 간편함과 기하학적 왜곡 및 GAN 기반 방법에서 흔히 발생하는 특징 환영을 방지하기 위해 단순화된 1×1 컨볼루션(또는 아블레이션에서 3×3)을 사용한다.
• 모델은 사전 학습된 작업 및 자동에코더 네트워크를 동결한 채로 단일 테스트 환자에서 엔드 투 엔드로 훈련되며, 단일 GPU에서 약 30초 내로 빠른 적응이 가능하다.

실험 결과

연구 질문

• RQ1 소스 데이터나 타겟 레이블에 접근할 수 없더라도 추론 시점에 딥러닝 모델을 단일 테스트 환자에 대해 신속하게 적응시킬 수 있는가?
• RQ2 자기에코더 재구성 오차가 의료 영상 적응에서 효과적인, 미분 가능한 도메인 정렬 지표로 기능할 수 있는가?
• RQ3 입력, 특징, 출력에 대해 학습 가능한 어댑터를 통해 재구성 오차를 최소화하면, 낮은 데이터 환경에서 기존의 UDA 방법보다 더 높은 성능을 낼 수 있는가?
• RQ4 가벼운 어댑터 설계는 기하학적 왜곡과 특징 환영을 피하면서도 Cycle-GAN과 같은 복잡한 GAN 기반 방법과 비교해 유사한 성능을 달성할 수 있는가?

주요 결과

• SDA-Net은 다양한 OCT 스캐너에서 망막 층 분할 작업에서 뚜렷한 성능 향상을 이룩했으며, HH 데이터셋에서 기준 모델(Na) 대비 MSE가 16.8% 상대적으로 감소했다.
• T1에서 T2 MRI로의 합성 작업에서는 HH 데이터셋에서 MSE가 0.168(±0.040), GH 데이터셋에서 0.233(±0.055)로 저하되었으며, 히스토그램 매칭, 스타일 전이, Cycle-GAN 기준 모델을 모두 능가했다.
• 합성된 T2 영상의 SSIM 점수는 HH에서 0.693(±0.039), GH에서 0.658(±0.043)를 기록하여 높은 시각적 품질과 소스 도메인 특징과의 정렬을 보여주었다.
• 단지 환자당 30초의 적응 시간으로 Cycle-GAN보다 유사하거나 더 뛰어난 성능을 달성했으며, GAN에서 흔히 발생하는 기하학적 이동 및 환영 현상을 피했다.
• 3×3 커널 어댑터를 사용한 Ours-3×3 버전은 분할 성능을 더욱 향상시켜, 작업에 특화된 어댑터 설계가 적응 성능 향상에 기여함을 보여주었다.
• 적응은 매우 빠르고 효율적이다. 적응 없이 추론 시간은 약 5초이며, 환자당 약 30초의 적응 시간으로 실용적인 임상 적용이 가능하다.