[논문 리뷰] Domain Generalization for Medical Imaging Classification with Linear-Dependency Regularization

Haoliang Li, Yufei Wang외 4명|arXiv (Cornell University)|2020. 09. 27.

Domain Adaptation and Few-Shot Learning참고 문헌 45인용 수 81

한 줄 요약

의료 영상에서 대상 도메인 데이터가 없을 때 latent-space rank 제약과 분포 정렬을 통해 cross-domain 일반화를 개선하는 Linear-Dependency Domain Generalization (LDDG)을 소개한다.

ABSTRACT

Recently, we have witnessed great progress in the field of medical imaging classification by adopting deep neural networks. However, the recent advanced models still require accessing sufficiently large and representative datasets for training, which is often unfeasible in clinically realistic environments. When trained on limited datasets, the deep neural network is lack of generalization capability, as the trained deep neural network on data within a certain distribution (e.g. the data captured by a certain device vendor or patient population) may not be able to generalize to the data with another distribution. In this paper, we introduce a simple but effective approach to improve the generalization capability of deep neural networks in the field of medical imaging classification. Motivated by the observation that the domain variability of the medical images is to some extent compact, we propose to learn a representative feature space through variational encoding with a novel linear-dependency regularization term to capture the shareable information among medical data collected from different domains. As a result, the trained neural network is expected to equip with better generalization capability to the "unseen" medical data. Experimental results on two challenging medical imaging classification tasks indicate that our method can achieve better cross-domain generalization capability compared with state-of-the-art baselines.

연구 동기 및 목표

• 대상 도메인 데이터가 이용 불가할 때 의료 영상의 도메인 전이를 동기화하고 다루는 동기를 제시한다.
• 도메인 간 정보를 공유하는 대표적인 잠재 특성 공간을 학습한다.
• 잠재 특징에 고정 랭크를 갖도록 정규화하여 클래스 수와 동일한 랭크를 달성한다.
• 소스 도메인에 과적합을 줄이기 위해 잠재 특징 분포를 가우시안 사전으로 정렬한다.

제안 방법

• 모델은 특징 추출기 Q_theta, 변분 인코더 F_omega, 선형 분류기 T_phi를 사용한다.
• 잠재 특징에 랭크 기반 정규화를 적용하여 랭크(Z)=C(클래스 수)로 카테고리 정보를 캡처한다.
• KL-발산을 기반으로 한 분포 정렬을 적용하여 여러 소스 도메인에서의 잠재 특징을 가우시안 사전 N(0,1)으로 매핑한다.
• 합성 손실 L_obj = 합계 L_c(y_hat, y) + lambda1 L_rank + lambda2 KL(q(Z|X) || N(0,1))로 학습한다.
• 가정 1-2 하에서 대상 도메인 위험에 대한 이론적 상한을 제시하고 관련 정리를 증명한다.
• 피부 병변 분류와 척수 회색 물질 분절에 대한 실험을 통해 cross-domain 일반화 이득을 보여준다.

실험 결과

연구 질문

• RQ1 잠재 공간의 랭크 제약이 여러 의료 영상 도메인 간 공유 정보를 포착하여 보이지 않는 도메인에 대한 일반화를 향상시키는가?
• RQ2 KL 발산을 통해 잠재 특징을 미리 정의된 사전에 정렬하는 것이 소스 도메인에 대한 과적합을 줄이고 대상 도메인 성능을 높이는가?
• RQ3 제안된 LDDG 방법이 피부 병변 분류 및 척수 분절에서 최첨단 도메인 일반화 기준선과 비교하여 어떤 성능 차이를 보이는가?
• RQ4 잠재 공간의 랭크를 다르게 설정하는 것이 일반화 성능에 어떤 영향을 미치는가?

주요 결과

• LDDG는 Cross-domain 피부 병변 분류에서 DeepAll, MASF, MLDG, CCSA 등의 기준선보다 우수한 성능을 보인다.
• LDDG는 표 1의 대상 도메인에서 평균 성능 측면에서 비교 방법들 중 최고를 달성한다.
• 절단 분석에서는 Rank와 KL 구성요소가 일반화를 향상시키며, rank(C) (클래스 수와 동일)가 많은 설정에서 최고 정확도를 보인다.
• Rank 규제가 핵산 노름을 사용하는 순수 랭크(C) 제약보다 저조한 성능을 보이는 경우가 있어, 카테고리 정보를 포함하는 이점이 강조된다.
• 절단 분석에서 Rank와 KL을 결합하면 어느 한 요소만 사용할 때보다 더 나은 성능을 보인다.