[논문 리뷰] Adversarial Invariant Feature Learning with Accuracy Constraint for Domain Generalization

Kei Akuzawa, Yusuke Iwasawa외 1명|arXiv (Cornell University)|2019. 04. 29.

Domain Adaptation and Few-Shot Learning참고 문헌 39인용 수 21

한 줄 요약

이 논문은 도메인-클래스 종속성 하에서 정확도 제약을 받는 도메인 불변성(accuracy-constrained domain invariance)을 도메인 일반화(DG) 동안 강제함으로써 도메인 불변성과 분류 정확도 사이의 균형을 명시적으로 유지하는 새로운 방법인 AFLAC을 제안한다. 이론적 분석을 통해 도메인-클래스 종속성 하에서 불변성과 정확도 사이의 상충 관계를 다루며, 합성 및 실제 데이터셋에서 최신 기술(SOTA) 수준의 성능을 달성한다. 또한 하이퍼파rameter 선택에 대해 매우 강건한 성능을 유지한다.

ABSTRACT

Learning domain-invariant representation is a dominant approach for domain generalization (DG), where we need to build a classifier that is robust toward domain shifts. However, previous domain-invariance-based methods overlooked the underlying dependency of classes on domains, which is responsible for the trade-off between classification accuracy and domain invariance. Because the primary purpose of DG is to classify unseen domains rather than the invariance itself, the improvement of the invariance can negatively affect DG performance under this trade-off. To overcome the problem, this study first expands the analysis of the trade-off by Xie et. al., and provides the notion of accuracy-constrained domain invariance, which means the maximum domain invariance within a range that does not interfere with accuracy. We then propose a novel method adversarial feature learning with accuracy constraint (AFLAC), which explicitly leads to that invariance on adversarial training. Empirical validations show that the performance of AFLAC is superior to that of domain-invariance-based methods on both synthetic and three real-world datasets, supporting the importance of considering the dependency and the efficacy of the proposed method.

연구 동기 및 목표

• 도메인-클래스 종속성 하에서 도메인 일반화(DG)에서 간과된 불변성과 정확도 사이의 상충 관계를 해결하기 위해.
• 정확도 제약을 받는 도메인 불변성의 개념을 정식화하기 위해, 이는 분류 성능이 떨어지지 않는 한도 내에서 달성 가능한 최대 불변성으로 정의된다.
• 적대적 훈련 동안 이러한 제약된 불변성을 명시적으로 최적화하는 방법을 개발하기 위해.
• 실제 및 합성 데이터셋에서 도메인-클래스 종속성을 고려할 경우 DG 성능 향상이 이루어지는지 경험적으로 검증하기 위해.
• 목표 도메인 데이터가 검증을 위해 이용 불가능한 DG의 핵심 과제인 하이퍼파rameter 선택에 대한 강건성을 입증하기 위해.

제안 방법

• 이론적 분석을 통해 엔트로피 관계 H(d|h) = H(d|y)로부터 유도된, 클래스 레이블에 따라 달라지는 도메인 정보를 고려하여 도메인 불변성을 제약하는 새로운 손실 함수를 도입한다.
• AFLAC은 적대적 훈련을 통해 잠재 표현에서 도메인 특징을 최소화하기 위해 도메인 구분자(discriminator)를 사용하지만, 정확도 제약 범위 내에서만 수행된다.
• 핵심 혁신은 조건부 엔트로피 H(d|y)를 통해 도메인 불변성을 제약함으로써, 분류 정확도를 유지하기 위해 필요한 최소한의 도메인 정보를 유지하도록 보장하는 데 있다.
• 교차 엔트로피 분류 손실과 적대적 도메인 혼동 손실을 조합하여 엔드 투 엔드로 모델을 훈련시키며, 기울기 반전 층을 사용하여 기울기 반전 강도를 정확도 제약을 만족하도록 校정한다.
• BMNISTR(합성), PACS, WISDM, IEMOCAP 데이터셋에서 방법을 평가하며, 정확도 제약의 영향을 분리하기 위한 아블레이션 스터디를 실시한다.
• 다양한 γ 값에 대해 하이퍼파rameter 민감도를 평가하여, 특히 강한 정규화 조건에서의 강건성을 입증한다.

실험 결과

연구 질문

• RQ1 도메인-클래스 종속성이 도메인 일반화에서 불변 특징 학습 방법의 성능에 어떤 영향을 미치는가?
• RQ2 도메인-클래스 종속성 하에서 도메인 불변성과 분류 정확도 사이의 이론적 관계는 무엇인가?
• RQ3 분류 정확도를 해치지 않는 최대 수준의 도메인 불변성을 정의할 수 있는가?
• RQ4 이 정확도 제약 불변성을 강제로 적용할 경우, 미관측 도메인에서의 일반화 성능 향상이 이루어지는가?
• RQ5 목표 도메인 검증 데이터가 없을 경우, 제안된 방법의 하이퍼파rameter 선택에 대한 강건성은 어떠한가?

주요 결과

• AFLAC은 모든 데이터셋에서 평균 성능에서 베이스라인 메서드를 능가했으며, PACS(64.0% 정확도), WISDM(64.0% 정확도), IEMOCAP(64.0% 정확도)에서 성능을 기록했으며, WISDM에서 CIDDG를 제외한 모든 경우에서 승리했다.
• PACS와 WISDM에서, 기존의 CNN 기반 모델이 표준 IFL 방법(DAN 및 AFLAC-Abl)보다 높은 성능을 보였는데, 이는 도메인-클래스 종속성이 존재할 경우 도메인 불변성만으로는 성능이 악화됨을 시사한다.
• IEMOCAP에서, 도메인-클래스 종속성 강도 I(d;y)가 높은 경우(예: Ses04 및 Ses05), AFLAC이 AFLAC-Abl보다 뛰어난 성능을 보였으며, 이는 이론적 분석을 지지한다.
• AFLAC은 하이퍼파rameter 선택에 대해 뛰어난 강건성을 보였다: DAN 및 AFLAC-Abl는 최적의 γ 값 외에는 성능 급락을 보였지만, AFLAC는 γ 값에 관계없이 안정적인 성능을 유지했다.
• 강한 정규화 조건(γ = 10 또는 100)에서 AFLAC과 AFLAC-Abl 간의 성능 격차가 커졌으며, 이는 AFLAC이 공격적인 불변성 강제 조건에서도 정확도 저하를 효과적으로 방지함을 확인한다.
• 경험적 결과는 이론적 경계 H(d|h) = H(d|y)가 불변성이 정확도를 해치지 않도록 최대화되는 최적의 균형점임을 확인했다.