[논문 리뷰] On the benefits of representation regularization in invariance based domain generalization

Changjian Shui, Boyu Wang외 1명|arXiv (Cornell University)|2021. 05. 30.

Domain Adaptation and Few-Shot Learning인용 수 4

한 줄 요약

이 논문은 도메인 일반화에서 표현의 불변성 학습만으로는 비연속적인 표현으로 인해 새로운 환경으로의 견고한 일반화가 부족하다고 밝힌다. 표현 함수의 리프시츠 연속성을 강제하기 위해 자코비안 행렬 정규화를 제안하며, 이는 이론적으로 테스트 오차의 상한을 제시하고 실제로 다양한 데이터셋과 불변성 기준에서 기존 알고리즘을 수정하지 않고 성능 향상을 이룬다.

ABSTRACT

A crucial aspect in reliable machine learning is to design a deployable system in generalizing new related but unobserved environments. Domain generalization aims to alleviate such a prediction gap between the observed and unseen environments. Previous approaches commonly incorporated learning invariant representation for achieving good empirical performance. In this paper, we reveal that merely learning invariant representation is vulnerable to the unseen environment. To this end, we derive novel theoretical analysis to control the unseen test environment error in the representation learning, which highlights the importance of controlling the smoothness of representation. In practice, our analysis further inspires an efficient regularization method to improve the robustness in domain generalization. Our regularization is orthogonal to and can be straightforwardly adopted in existing domain generalization algorithms for invariant representation learning. Empirical results show that our algorithm outperforms the base versions in various dataset and invariance criteria.

연구 동기 및 목표

• 분포 이탈 상황에서 불변 표현 학습만으로 도메인 일반화에서 실패하는 이유를 탐구하기 위해.
• 특히 비연속적이거나 복잡한 표현일 경우, 새로운 환경에서의 일반화 성능이 열 劣하는 근본 원인을 규명하기 위해.
• 표현의 매끄러움에 따라 의존하는 테스트 오차의 이론적 상한을 유도하기 위해.
• 표현 함수의 리프시츠 연속성을 강제하는 실용적인 정규화 방법—자코비안 행렬 정규화—를 제안하기 위해.
• 기존 도메인 일반화 프레임워크를 수정하지 않고도 다양한 데이터셋과 불변성 기준에서 성능 향상을 보여주기 위해.

제안 방법

• 이론적 분석을 통해 표현 함수의 리프시츠 상수에 따라 테스트 환경 오차의 상한을 도출한다.
• 리프시츠 연속성이 새로운 환경에서의 일반화 오차를 제어하는 데 충분한 조건임을 입증한다.
• 표현 함수의 리프시츠 성질을 강제하기 위한 실용적 방법으로 자코비안 행렬 정규화를 제안한다.
• 정규화는 표현 네트워크의 자코비안 행렬의 프로베니우스 노름에 대한 펜alty로 적용된다.
• 이 방법은 기존의 불변성 기반 도메인 일반화 알고리즘과 수직이며, 직접적으로 통합될 수 있다.
• 다양한 불변성 기준과 네트워크 아키텍처를 사용하여 여러 벤치마크(PACS, Office-Home, digits 등)에서 실험적 검증을 수행한다.

실험 결과

연구 질문

• RQ1 원천 위험를 최소화함으로써 불변 표현을 학습함에도 불구하고, 왜 새로운 환경으로의 일반화가 실패하는가?
• RQ2 도메인 일반화에서 작은 테스트 오차를 확보하기 위해 필요한 이론적 조건은 무엇인가?
• RQ3 표현 함수의 매끄러움은 일반화 성능에 어떤 영향을 미치는가?
• RQ4 핵심 불변성 목표를 수정하지 않고도 자코비안 기반 정규화가 도메인 일반화의 견고성을 향상시킬 수 있는가?
• RQ5 데이터 증강과 비교할 때, 제안된 정규화는 표현의 매끄러움에 대한 암묵적 정규화를 어떻게 다루는가?

주요 결과

• 이론적 분석 결과, 표현 함수의 리프시츠 상수가 새로운 환경에서의 일반화 오차를 직접적으로 상한으로 제약함을 보여준다.
• 비연속적인 표현—특히 복잡하거나 극적으로 변하는 표현—은 불변성 기준을 충족하더라도 분포 이탈에 취약하다.
• 자코비안 행렬 정규화는 리프시츠 상수를 효과적으로 제어하고, 다양한 데이터셋과 불변성 기준에서 견고성을 향상시킨다.
• 실험 결과, PACS, Office-Home, digits 데이터셋에서 다양한 불변성 목표 하에 기반 모델 대비 일관된 성능 향상이 관찰된다.
• 강력한 데이터 증강과도 함께 적용되었을 때도 정규화가 효과적이므로, 별개이자 상호보완적인 인덕티브 바이어스를 포착하고 있음을 시사한다.
• 이 방법은 보편적으로 적용 가능하며, 아키텍처 변경 없이 기존 도메인 일반화 프레임워크에 원활하게 통합될 수 있다.