[논문 리뷰] Learning Cross-domain Generalizable Features by Representation Disentanglement

Qingjie Meng, Daniel Rueckert외 1명|arXiv (Cornell University)|2020. 02. 29.

Domain Adaptation and Few-Shot Learning참고 문헌 52인용 수 8

한 줄 요약

이 논문은 도메인 불변 분류 특징을 도메인 특화 특징에서 상호정보량 최소화를 통해 분리하여, 타겟 도메인에서 미리보지 않은 카테고리로의 일반화를 향상시키는 반감독 학습 방법인 MIDNet을 제안한다. MNIST 및 태반 초음파 이미지 데이터셋에서 모두 최신 기술 수준의 성능을 달성하며, 라벨이 30% 밖에 없는 경우에도 특히 미리보지 않은 카테고리에서 뛰어난 성능을 보인다.

ABSTRACT

Deep learning models exhibit limited generalizability across different domains. Specifically, transferring knowledge from available entangled domain features(source/target domain) and categorical features to new unseen categorical features in a target domain is an interesting and difficult problem that is rarely discussed in the current literature. This problem is essential for many real-world applications such as improving diagnostic classification or prediction in medical imaging. To address this problem, we propose Mutual-Information-based Disentangled Neural Networks (MIDNet) to extract generalizable features that enable transferring knowledge to unseen categorical features in target domains. The proposed MIDNet is developed as a semi-supervised learning paradigm to alleviate the dependency on labeled data. This is important for practical applications where data annotation requires rare expertise as well as intense time and labor. We demonstrate our method on handwritten digits datasets and a fetal ultrasound dataset for image classification tasks. Experiments show that our method outperforms the state-of-the-art and achieve expected performance with sparsely labeled data.

연구 동기 및 목표

• 기존에 얽히거나 뒤섞인 이미지 특징(분류 특징 및 도메인 특징)에서 알려지지 않은 카테고리로의 지식 전이 문제를 해결하기 위해.
• 의료 영상과 같이 라벨링이 비용이 많이 들고 시간이 오래 걸리는 실세계 응용에서 대규모 라벨 데이터에 대한 의존도를 줄이기 위해.
• 라벨된 데이터와 라벨되지 않은 데이터를 효과적으로 활용하여 일반화 성능을 향상시키는 반감독 학습 프레임워크를 개발하기 위해.
• 도메인 불변 특징을 도메인 특화 및 분류 특징에서 명시적으로 분리하여, 새로운 카테고리 조합으로의 전이를 가능하게 하기 위해.

제안 방법

• MIDNet는 분류 특징(C)과 도메인 특징(D)을 분리하기 위해 상호정보량 최소화를 활용하며, 도메인 불변 표현을 학습하도록 모델을 유도한다.
• 모델은 분류 특징 및 도메인 특징에 대해 별도의 인코더와 디코더를 사용하며, 도메인 간 특징 유사도를 기반으로 한 대비 손실을 통해 분리도를 향상시킨다.
• MixMatch에 영감을 받은 반감독 학습 전략을 통해 라벨이 없는 데이터를 일관성 정규화를 통해 통합하여, 라벨 데이터가 제한적인 조건에서도 일반화 성능을 향상시킨다.
• 분리도와 분류 성능의 균형을 맞추기 위해 교차 엔트로피, 상호정보량 최소화, 대비 손실을 포함하는 다성분 손실을 최적화한다.
• 하이퍼파rameter는 응용에 따라 조정되며, 실험에선 특정 값(예: λ₁=1, λ₂=10, λ₃=10⁻⁴, λ₄=50, λ₅=50)을 사용한다.
• 새로운 도메인을 위해 추가 인코더-디코더 쌍을 추가함으로써 다중 타겟 도메인으로의 확장이 가능하다.

실험 결과

연구 질문

• RQ1 상호정보량 최소화를 통한 표현 분리가 타겟 도메인에서 새로운 분류 특징으로의 일반화를 향상시키는가?
• RQ2 제한된 라벨 데이터를 가진 반감독 학습 접근법이 새로운 카테고리-도메인 조합으로의 전이를 얼마나 효과적으로 가능하게 하는가?
• RQ3 도메인 불변 특징을 분리하는 것이 기존 도메인 적응 방법에 비해 새로운 카테고리에서 더 높은 성능을 내는가?
• RQ4 의료 영상, 특히 장비 특유의 아티팩트로 인해 도메인 이동이 발생하는 태반 초음파와 같은 분야에서 모델이 다양한 영상 장치 간에서 일반화할 수 있는가?

주요 결과

• 태반 초음파의 크로스 디바이스 실험에서 MIDNet-VIII는 $T_{Target}^{New}$에서 F1 스코어 0.8383을 기록하여 DANN(0.3470)과 MME(0.4293)를 크게 앞서며 뚜렷한 성능 우월성을 보였다.
• $T_{Target}^{New}$에서 MIDNet-VIII는 86.00% 재현율과 84.97% 정밀도를 기록하여, 새로운 카테고리로의 강력한 일반화 능력을 입증했다.
• 라벨 데이터가 30%인 크로스 디바이스 태반 초음파 작업에서 MIDNet-VIII는 $T_{Target}$에서 F1 스코어 0.7434를 기록하여 DANN(0.3568)과 MME(0.5400)를 모두 앞섰다.
• 소스 도메인($T_{Source}$)에서는 MIDNet-VIII가 F1 스코어 0.9281을 기록하여 알려진 카테고리에서도 뛰어난 성능을 보였다.
• 이 방법은 클래스 불균형과 라벨 데이터 부족에 대해 강건했으며, 중간 수준의 라벨링 비율에서 성능이 최고로 나타나고 과도한 라벨링 시 성능 저하가 발생했다.
• 정성적 분석 결과, 분리가 모델이 중요한 특징(예: 초음파에서의 그림자 아티팩트)을 식별하도록 도와주며, 일부 카테고리에 대해 해부학적 특징보다 예측력이 높을 수 있음을 시사한다.