[논문 리뷰] Learning to Generate Novel Domains for Domain Generalization

Kaiyang Zhou, Yongxin Yang외 2명|arXiv (Cornell University)|2020. 07. 07.

Domain Adaptation and Few-Shot Learning참고 문헌 64인용 수 25

한 줄 요약

이 논문은 최적 운반 기반 산란 최대화를 사용하여 원천 데이터에서 다양한 가짜 신규 도메인을 합성하는 조건부 생성자 모델을 훈련시켜 모델의 강건성을 향상시키는 도메인 일반화 방법 L2A-OT을 제안한다. 이 방법은 사이클 일致성 및 분류 손실을 통해 의미를 유지하면서 도메인 다양성을 증가시킴으로써 일반화 성능을 향상시키며, PACS, Office-Home, Digits-DG를 포함한 네 가지 벤치마크 데이터셋에서 최신 기술을 초월한다.

ABSTRACT

This paper focuses on domain generalization (DG), the task of learning from multiple source domains a model that generalizes well to unseen domains. A main challenge for DG is that the available source domains often exhibit limited diversity, hampering the model's ability to learn to generalize. We therefore employ a data generator to synthesize data from pseudo-novel domains to augment the source domains. This explicitly increases the diversity of available training domains and leads to a more generalizable model. To train the generator, we model the distribution divergence between source and synthesized pseudo-novel domains using optimal transport, and maximize the divergence. To ensure that semantics are preserved in the synthesized data, we further impose cycle-consistency and classification losses on the generator. Our method, L2A-OT (Learning to Augment by Optimal Transport) outperforms current state-of-the-art DG methods on four benchmark datasets.

연구 동기 및 목표

• 기존 도메인 일반화(DG) 방법에서 제한된 도메인 다양성으로 인해 미리 보지 않은 도메인으로의 일반화가 어려운 문제를 해결하기 위해.
• 기존 원천 도메인에 과적합되는 위험을 줄이기 위해 합성 데이터를 통해 훈련 도메인 다양성을 명시적으로 증가시키기 위해.
• 목표 도메인 데이터가 필요 없이 의미적으로 일관된, 분포상으로는 구별되는 가짜 신규 도메인을 생성하는 생성자 모델을 개발하기 위해.
• 사이클 일치성 및 분류 손실을 통해 생성된 이미지의 의미적 및 구조적 정합성을 보장하기 위해.

제안 방법

• 원천 도메인의 이미지를 최대한의 최적 운반(OT) 거리로 가지는 가짜 신규 도메인으로 매핑하는 조건부 생성자 네트워크를 훈련한다.
• 생성자 목적 함수는 원천 도메인과 생성 도메인 간의 OT 기반 도메인 산란을 최대화하여 분포상의 신선도를 확보한다.
• 도메인 간 매핑의 순환 구조를 통해 사이클 일치성 손실을 적용하여 도메인 간 이동 시 구조적 일致성을 유지한다.
• 생성된 이미지에 분류 손실을 적용하여 의미적 정합성을 유지하고 동일한 클래스로 식별될 수 있도록 보장한다.
• OT 산란, 사이클 일치성, 분류 항목을 포함한 복합 손실을 사용하여 생성자 모델을 엔드 투 엔드로 훈련한다.
• 최종 모델은 실제 원천 도메인과 합성된 가짜 신규 도메인의 조합으로 훈련되어 일반화 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 원천 데이터에서 가짜 신규 도메인을 합성함으로써 도메인 일반화 과제에서 일반화 성능을 향상시킬 수 있는가?
• RQ2 원천 도메인과 생성 도메인 간의 최적 운반 기반 도메인 산란을 최대화하는 것이 도메인 정렬보다 더 나은 일반화를 이끌어내는가?
• RQ3 사이클 일치성 및 분류 손실의 포함 여부가 DG에서 생성된 이미지의 품질과 활용도에 어떤 영향을 미치는가?
• RQ4 생성된 도메인의 수와 원천 도메인의 선택에 대해 이 방법의 성능이 얼마나 강인한가?
• RQ5 생성된 도메인은 실제 원천 도메인과 상호 간에 분포 및 특징 공간에서 어떻게 비교되는가?

주요 결과

• L2A-OT는 PACS, Office-Home, Digits-DG, 그리고 도메인 간 인물 재식별을 포함한 네 가지 벤치마크 데이터셋에서 최신 기술 성능을 달성한다.
• 세 개의 원천 도메인을 가진 Digits-DG에서 L2A-OT는 62.5%의 정확도를 기록하여 바닐라 기반선(57.1%)과 다른 최신 기술 방법들을 능가한다.
• 생성된 도메인의 수에 대해 강인한 성능을 보이며, $K_n = K_s$일 때 성능이 안정적이므로 $K_n = K_s$는 강력한 기본 설정으로 간주된다.
• t-SNE 시각화 결과 생성 도메인이 원천 도메인과 잘 분리되어 특징 공간에서 명확한 군집을 형성하는 것으로 확인된다.
• L2A-OT에서 생성된 이미지는 원천 도메인과 비교해 텍스처, 색상, 배경 등에서 상당한 분포상 차이를 보이며, 의미적 내용은 유지된다.
• CrossGrad와 비교했을 때 t-SNE 및 시각적 점검을 통해 L2A-OT가 더 근본적인 도메인 이동을 생성함을 확인하였으며, 이는 더 나은 일반화 성능로 이어진다.