[논문 리뷰] Deep Domain-Adversarial Image Generation for Domain Generalisation

Kaiyang Zhou, Yongxin Yang외 2명|arXiv (Cornell University)|2020. 03. 12.

Domain Adaptation and Few-Shot Learning참고 문헌 45인용 수 7

한 줄 요약

이 논문은 도메인 전환 네트워크(DoTNet)를 통해 예측되지 않은 도메인 데이터를 합성함으로써 모델의 견고성을 향상시키는 새로운 도메인 일반화 방법인 딥 도메인-대칭 이미지 생성(DDAIG)을 제안한다. 레이블 분류기의 일반화 능력을 향상시키기 위해, DoTNet를 적대적으로 훈련시켜 도메인 분류기를 속이면서도 클래스 레이블을 유지하는 도메인 이동 이미지를 생성함으로써, DDAIG는 PACS, Office-Home, Digits-DG 벤치마크에서 최신 기술을 능가한다.

ABSTRACT

Machine learning models typically suffer from the domain shift problem when trained on a source dataset and evaluated on a target dataset of different distribution. To overcome this problem, domain generalisation (DG) methods aim to leverage data from multiple source domains so that a trained model can generalise to unseen domains. In this paper, we propose a novel DG approach based on \emph{Deep Domain-Adversarial Image Generation} (DDAIG). Specifically, DDAIG consists of three components, namely a label classifier, a domain classifier and a domain transformation network (DoTNet). The goal for DoTNet is to map the source training data to unseen domains. This is achieved by having a learning objective formulated to ensure that the generated data can be correctly classified by the label classifier while fooling the domain classifier. By augmenting the source training data with the generated unseen domain data, we can make the label classifier more robust to unknown domain changes. Extensive experiments on four DG datasets demonstrate the effectiveness of our approach.

연구 동기 및 목표

• 학습 데이터와 테스트 데이터 간 분포 이탈로 인해 모델이 예측되지 않은 도메인에서 실패하는 도메인 이동 문제를 해결하기 위해.
• 목표 도메인 데이터가 필요하거나 소스 도메인을 초월해 일반화하지 못하는 비지도 도메인 적응 및 도메인 정렬 방법의 한계를 극복하기 위해.
• 라벨이 부여된 목표 도메인 데이터에 의존하지 않고도 현실적인 예측되지 않은 도메인 이미지를 합성하는 데이터 증강 전략을 개발하기 위해.
• 소스 도메인과 함께 합성된 예측되지 않은 도메인 데이터를 훈련 데이터로 사용함으로써 모델의 견고성을 향상시키기 위해.

제안 방법

• DDAIG는 레이블 분류기, 도메인 분류기, 도메인 전환 네트워크(DoTNet)의 세 개의 딥 네ural 네트워크를 공동 훈련하는 프레임워크를 사용한다.
• DoTNet는 소스 이미지에 인스턴스별 편향을 적용하여 도메인 이동된 이미지를 생성하며, 도메인 분류기를 속이면서도 레이블 분류기가 정확하게 분류할 수 있도록 한다.
• 이 방법은 최소화-최대화 목적함수를 사용한다: 원본 및 변환된 데이터에서 레이블 분류 손실을 최소화하고, 변환된 데이터에서 도메인 분류 손실을 최대화한다.
• 기하학적 변형(예: 회전)을 처리하기 위해 공간 변환 네트워크(STN)를 프레임워크에 통합하여 구조적 도메인 이동을 위한 데이터 합성 기능을 강화한다.
• 모든 훈련 과정은 엔드 투 엔드로 이루어지며, DoTNet를 통해 기울기가 역전파되어 의미 있는 스타일과 구조를 유지하는 편향을 학습한다.
• 이 방법은 특징 수준의 도메인 정렬 방법과 달리 픽셀 수준에서 직접 작용하므로 해석 가능성이 높다.

실험 결과

연구 질문

• RQ1 예측되지 않은 도메인에서의 합성 데이터 생성이 도메인 일반화 작업의 모델 일반화 능력을 향상시키는가?
• RQ2 적대적 목표함수를 통해 훈련된 도메인 전환 네트워크가 현실적인 도메인 이동을 얼마나 효과적으로 시뮬레이션하는가?
• RQ3 제안된 방법은 소스 도메인에 존재하지 않는 기하학적 도메인 이동(예: 회전)에도 일반화 가능한가?
• RQ4 다양한 벤치마크에서 DDAIG의 성능은 최신 기술 도메인 일반화 방법과 비교해 어떻게 되는가?
• RQ5 소스 데이터와 합성된 예측되지 않은 도메인 데이터를 함께 사용할 경우, 순수하게 합성 데이터만 사용할 경우에 비해 모델의 견고성이 얼마나 향상되는가?

주요 결과

• DDAIG는 PACS, Office-Home, Digits-DG 벤치마크에서 모든 최신 기술 도메인 일반화 방법을 능가하며, 예측되지 않은 도메인으로의 일반화 능력이 뛰어나다는 것을 입증한다.
• 회전된 MNIST를 목표로 하는 Digits-DG 벤치마크에서, STN를 통한 DDAIG는 기준 방법에 비해 성능 저하를 크게 줄였으며, 특히 40°와 50°에서 두드러진 성능 향상을 보였다.
• 합성된 예측되지 않은 도메인 데이터만으로 훈련할 경우 성능 향상이 없음을 확인하여, 소스 데이터와 합성 데이터를 조합하는 것이 핵심적인 이점임을 입증했다.
• 시각화 결과는 생성된 이미지가 이전에 비어 있던 도메인 공간 영역을 점유하고 있음을 보여주며, 예측되지 않은 도메인 다양체의 효과적인 탐색을 확인했다.
• DoTNet가 학습한 편향은 공격 방법에서의 노이즈 유사 편향과 달리 인스턴스별이며 의미적으로 유의미하여 현실감과 도메인 이동 시뮬레이션 능력을 향상시켰다.
• 이 방법은 표준 DG 작업을 초월하여 레이블 공간이 다를 수 있는 이질적인 인물 재식별 작업에서도 뛰어난 성능을 보였다.