[논문 리뷰] Open Domain Generalization with Domain-Augmented Meta-Learning

Shu Yang, Zhangjie Cao외 3명|arXiv (Cornell University)|2021. 04. 08.

Domain Adaptation and Few-Shot Learning참고 문헌 55인용 수 8

한 줄 요약

이 논문은 분포 이탈과 소스 도메인 간 이질적인 레이블 세트 문제를 해결하기 위해 도메인 증강 메타러닝(DAML)이라는 새로운 프레임워크를 제안한다. 특징 수준의 증강을 위해 딜리클 분포를 활용한 믹스업(Dir-mixup)과 레이블 수준의 지식 전이를 위한 정제된 소프트 레이블링을 도입함으로써, 증강된 도메인 간 메타러닝을 가능하게 하여, 알려지지 않은 타겟 도메인에서 최신 기술 수준의 성능을 달성하며, 알려진 클래스와 오픈 클래스 모두에서 일반화 능력이 크게 향상된다.

ABSTRACT

Leveraging datasets available to learn a model with high generalization ability to unseen domains is important for computer vision, especially when the unseen domain's annotated data are unavailable. We study a novel and practical problem of Open Domain Generalization (OpenDG), which learns from different source domains to achieve high performance on an unknown target domain, where the distributions and label sets of each individual source domain and the target domain can be different. The problem can be generally applied to diverse source domains and widely applicable to real-world applications. We propose a Domain-Augmented Meta-Learning framework to learn open-domain generalizable representations. We augment domains on both feature-level by a new Dirichlet mixup and label-level by distilled soft-labeling, which complements each domain with missing classes and other domain knowledge. We conduct meta-learning over domains by designing new meta-learning tasks and losses to preserve domain unique knowledge and generalize knowledge across domains simultaneously. Experiment results on various multi-domain datasets demonstrate that the proposed Domain-Augmented Meta-Learning (DAML) outperforms prior methods for unseen domain recognition.

연구 동기 및 목표

• 알 수 없는 분포와 레이블 세트를 가진 알려지지 않은 타겟 도메인으로 딥 모델을 일반화하는 데 도전하는 것.
• 공유 레이블 세트를 가정하거나 타겟 도메인 데이터가 필요로 하는 기존 도메인 일반화 방법의 한계를 극복하는 것.
• 서로 다른 레이블 세트와 분포를 가진 소스 도메인 간에서 일반화 가능한 표현을 학습하는 통합 프레임워크를 개발하는 것.
• 레이블 세트 겹침 또는 타겟 데이터 가용성에 대한 최소한의 가정으로도 효과적인 도메인 간 지식 전이를 가능하게 하는 것.

제안 방법

• 레이블 세트, 타겟 데이터, 또는 타겟 데이터에서의 후처리 학습에 대한 가정이 전혀 필요 없는 새로운 오픈 도메인 일반화(OpenDG) 문제 설정을 제안한다.
• 다양한 도메인 간에 딜리클 분포 샘플링을 활용해 다수의 도메인을 아우르는 다양한 혼합 샘플을 생성하는 특징 수준의 증강 기법인 딜리클 믹스업(Dir-mixup)을 도입한다.
• 기타 도메인의 훈련된 네트워크로부터 지식을 전이하여 각 소스 도메인의 부족한 클래스 표현을 풍부화시키기 위해 정제된 소프트 레이블링을 적용한다.
• 도메인 특화 지식을 유지하면서도 도메인 간 일반화를 촉진하는 도메인 증강 메타러닝 작업과 손실 함수를 설계한다.
• 모든 소스 도메인 네트워크의 앙상블 예측을 활용해 불확실성을 자연스럽게 校정하고 오픈 세트 인식에서의 강건성을 향상시킨다.
• 최소한의 인덕티브 바이어스로 알려지지 않은 도메인으로 일반화할 수 있는 표현을 학습하기 위해 증강된 도메인에 대한 메타러닝을 수행한다.

Figure 1: Open Domain Generalization (OpenDG). Different source domains hold disparate label sets. The goal is to learn generalizable representations from these source domains to help classify the known classes and detect open classes in the unseen target domain.

실험 결과

연구 질문

• RQ1 서로 다른 레이블 세트와 분포를 가진 소스 도메인 간에서 메타러닝 프레임워크가 효과적으로 일반화할 수 있는가?
• RQ2 특징 수준과 레이블 수준의 도메인 증강이 오픈 도메인 일반화에서 일반화 능력을 어떻게 향상시키는가?
• RQ3 딜리클 믹스업이 표준 믹스업보다 표현의 다양성과 일반화 능력을 향상시키는 데 뛰어난가?
• RQ4 정제된 소프트 레이블링이 소수 클래스 및 누락된 클래스에서 모델 성능을 얼마나 향상시키는가?
• RQ5 증강된 도메인 데이터에 대한 메타러닝이 알려지지 않은 타겟 도메인으로의 제로샷 일반화를 얼마나 향상시키는가?

주요 결과

• DAModel는 OpenDG 벤치마크에서 평균 56.5%의 정확도를 기록하여 기존 방법들인 CuMix 및 AGG를 크게 앞서며 성능을 뛰어넘었다.
• 절단 실험 결과, Dir-mixup와 정제된 소프트 레이블링을 메타러닝과 조합할 경우 Office-Home에서 가장 높은 성능을 기록하였으며, 평균 정확도는 56.5%였다.
• 표준 믹스업 대비 Dir-mixup를 사용할 경우 평균 1.3% 향상된 정확도를 기록하여, 다중 도메인 믹스업이 다양성 향상에 기여하는 것으로 확인되었다.
• 정제된 소프트 레이블링을 포함시킬 경우 평균 1.2% 향상된 정확도를 기록하여, 이 기법이 도메인 간 지식 전이에 효과적임을 확인하였다.
• 증강된 도메인 데이터에 기반한 메타러닝은 소스 도메인과 타겟 도메인의 특징 간 프리에치 거리(Fréchet distance)를 감소시켜 더 나은 도메인 정렬을 나타낸다.
• 타겟 도메인의 오픈 세트 부분에서 53.1%의 정확도를 기록하여, 알려지지 않은 클래스로의 일반화 능력이 뛰어나다는 것을 입증하였다.

Figure 2: The architecture of the proposed DAML framework. We show the computation graph for source domain 1 as an example, and the other source domains are computed similarly. In the meta-training (up part, left to right), each source domain is augmented by Dir-mixup (red) and distilled soft-labeli