[논문 리뷰] Learning to Match Distributions for Domain Adaptation

Chaohui Yu, Jindong Wang외 6명|arXiv (Cornell University)|2020. 07. 17.

Domain Adaptation and Few-Shot Learning참고 문헌 64인용 수 6

한 줄 요약

이 논문은 수동으로 설계된 거리(예: MMD 또는 적대적 손실)에 의존하지 않고 메타네트워크를 통해 데이터 기반으로 분포 매칭 손실을 자동으로 학습하는 데이터 기반 도메인 적응 프레임워크인 Learning to Match (L2M)를 제안한다. L2M는 작업 독립적이고 인간이 설계한 특징을 통합하여 공통된 일반화 가능한 프레임워크로 통합하며, 공개 데이터셋에서 최신 기술 수준의 성능을 달성하고, COVID-19 X-ray 분류의 다중 도메인 적용 및 MNIST에서의 개선된 이미지 생성에서도 뛰어난 성능을 보인다.

ABSTRACT

When the training and test data are from different distributions, domain adaptation is needed to reduce dataset bias to improve the model's generalization ability. Since it is difficult to directly match the cross-domain joint distributions, existing methods tend to reduce the marginal or conditional distribution divergence using predefined distances such as MMD and adversarial-based discrepancies. However, it remains challenging to determine which method is suitable for a given application since they are built with certain priors or bias. Thus they may fail to uncover the underlying relationship between transferable features and joint distributions. This paper proposes Learning to Match (L2M) to automatically learn the cross-domain distribution matching without relying on hand-crafted priors on the matching loss. Instead, L2M reduces the inductive bias by using a meta-network to learn the distribution matching loss in a data-driven way. L2M is a general framework that unifies task-independent and human-designed matching features. We design a novel optimization algorithm for this challenging objective with self-supervised label propagation. Experiments on public datasets substantiate the superiority of L2M over SOTA methods. Moreover, we apply L2M to transfer from pneumonia to COVID-19 chest X-ray images with remarkable performance. L2M can also be extended in other distribution matching applications where we show in a trial experiment that L2M generates more realistic and sharper MNIST samples.

연구 동기 및 목표

• 기존 도메인 적응 방법이 MMD 또는 적대적 거리와 같은 수동으로 설계된 편향된 분포 매칭 손실에 의존하는 한계를 해결하기 위해.
• 메타네트워크를 사용해 데이터로부터 손실 함수를 종단 간(end-to-end)으로 학습시켜 분포 매칭의 인덕티브 바이어스를 줄이기 위해.
• 딥 레이어 특징과 인간이 설계한 특징(예: MMD, 적대적)을 하나의 일반화 가능한 프레임워크 안에서 통합하기 위해.
• 의료 영상(예: 폐렴에서 COVID-19 X-ray로의 이행)과 같은 저자원, 불균형 및 실제 세계 시나리오에서의 강건한 도메인 적응을 가능하게 하기 위해.
• 기본 프레임워크를 생성 모델링과 같은 다른 분포 매칭 응용 분야로 확장하기 위해.

제안 방법

• L2M는 메타네트워크(다층 퍼셉트론)를 사용해 데이터 기반 방식으로 분포 매칭 손실을 학습하며, 보편적인 함수 근사기 역할을 한다.
• 프레임워크는 작업 독립적 특징(예: 딥 레이어 특징)과 인간이 설계한 특징(예: MMD, 적대적 차이)을 메타네트워크의 입력으로 통합한다.
• 타겟 도메인 레이블이 없을 경우, 새로운 메타데이터를 생성하고 업데이트하기 위해 새로운 자기지도 레이블 전파 전략을 사용한다.
• 타겟 레이블이 없음에도 불구하고 안정적이고 정확한 성능을 달성하기 위해, L2M를 효율적으로 학습할 수 있도록 온라인 최적화 알고리즘을 제안한다.
• 메타학습된 매칭 손실과 표준 분류 및 도메인 정렬 목표를 결합한 손실 함수를 사용해 모델을 학습한다.
• 이미지 생성에 응용하기 위해, GMMN에서 표준 MMD 손실을 L2M 매칭 손실로 대체함으로써 샘플 품질을 향상시켰다.

실험 결과

연구 질문

• RQ1 데이터 기반의 메타학습된 손실 함수가 MMD나 적대적 거리와 같은 사전 정의된 분포 매칭 손실보다 도메인 적응에서 더 우수한 성능을 낼 수 있는가?
• RQ2 기존의 고정된 사전 지식에 의존하는 방법에 비해 L2M는 얼마나 더 낮은 인덕티브 바이어스를 가지는가?
• RQ3 불균형하거나 데이터가 부족한 상황(예: 의료 영상에서의 다양한 도메인 이동)에서도 L2M는 얼마나 잘 일반화되는가?
• RQ4 L2M는 이미지 생성과 같은 다른 분포 매칭 작업으로 효과적으로 이식될 수 있는가?
• RQ5 학습된 매칭 손실은 조건부 생성에서 더 선명하고 현실적인 샘플을 생성하는 데 기여하는가?

주요 결과

• L2M는 공개 도메인 적응 벤치마크에서 최신 기술 수준의 성능을 달성하여 DANN, MCD, CDAN+TransNorm 등의 방법을 능가한다.
• 폐렴에서 COVID-19 X-ray로의 이행 작업에서 L2M는 F1 스코어 74.0%를 기록하여 CDAN+TransNorm(63.7%)과 DANN(66.2%)를 크게 앞서며 성능을 뛰어나게 했다.
• 불균형 설정에서도 L2M는 동일한 작업에서 MCD(61.5%)와 DANN(66.2%)에 비해 F1 스코어 74.0%로 강건성을 입증했다.
• 절단 실험 결과, 여러 매칭 특징(예: 임bedding + MMD 또는 로짓 + 적대적)을 조합할 경우 최고의 성능을 내며, L2M(logit+mmd)는 F1 스코어 74.0%를 기록했다.
• 이미지 생성 분야에서 L2M는 표준 MMD 기반 GMMN보다 더 선명하고 현실적인 MNIST 샘플을 생성했으며, 이는 정성적 샘플로 확인되었다.
• 이 프레임워크는 일반화 가능성이 있으며, 반감독 설정으로도 확장 가능하므로 향후 이러한 환경에서의 연구에 잠재력이 있다.