[논문 리뷰] Estimating Generalization under Distribution Shifts via Domain-Invariant Representations

Ching-Yao Chuang, Antonio Torralba외 1명|arXiv (Cornell University)|2020. 07. 06.

Domain Adaptation and Few-Shot Learning참고 문헌 32인용 수 12

한 줄 요약

이 논문은 분포 이탈 하에서 모델 일반화를 추정하기 위해 도메인 불변 표현(Domain-Invariant Representations, DIRs)을 타겟 성능의 대체 레이블로 사용하는 방법을 제안한다. 타겟 모델과 다수의 DIR 모델 간의 이견을 최대화하도록 훈련시킴으로써, 타겟 레이블이 없이도 정확한 타겟 리스크를 추정할 수 있으며, 이는 비전 및 NLP 벤치마크 전반에서 오차 추정 및 점별 오차 탐지에서 이전 방법들을 능가한다.

ABSTRACT

When machine learning models are deployed on a test distribution different from the training distribution, they can perform poorly, but overestimate their performance. In this work, we aim to better estimate a model's performance under distribution shift, without supervision. To do so, we use a set of domain-invariant predictors as a proxy for the unknown, true target labels. Since the error of the resulting risk estimate depends on the target risk of the proxy model, we study generalization of domain-invariant representations and show that the complexity of the latent representation has a significant influence on the target risk. Empirically, our approach (1) enables self-tuning of domain adaptation models, and (2) accurately estimates the target error of given models under distribution shift. Other applications include model selection, deciding early stopping and error detection.

연구 동기 및 목표

• 타겟 레이블에 접근할 수 없을 때 분포 이탈 하에서 모델 일반화를 추정하는 것.
• 타겟 리스크 추정을 위해 도메인 불변 예측기들을 대체 레이블로 활용하는 방법을 개발하는 것.
• 도메인 불변 표현에서 표현 복잡도의 역할을 타겟 일반화에 대해 분석하는 것.
• 리스크 추정을 통한 도메인 적응 모델의 자가 조정을 가능하게 하는 것.
• 분포 이탈 하에서 모델 선택, 조기 정지 및 오차 탐지 지원을 위한 것.

제안 방법

• 알 수 없는 진정한 타겟 레이블을 대체하기 위해 도메인 불변 표현(DIRs)의 집합을 대체 레이블로 사용한다.
• 도메인 불변 훈련 목표(예: 도메인 적대적 학습 또는 MMD)를 사용하여 타겟 모델과의 이견을 최대화하도록 다수의 DIR 모델(검증 모델)을 훈련시킨다.
• 검증 모델의 앙상블에 대한 타겟 모델의 오차를 측정하여 타겟 리스크를 추정한다.
• 타겟 모델과 검증 모델 간의 이견을 높은 타겟 리스크의 신호로 사용한다.
• 평균 리스크 및 점별 오차 추정에 이 프레임워크를 적용하여 각 예측의 신뢰성 평가를 가능하게 한다.
• 타겟 리스크 추정에 기반하여 최적의 표현 복잡도를 선택함으로써 DIR 모델을 자가 조정한다.

실험 결과

연구 질문

• RQ1 도메인 불변 표현은 분포 이탈 하에서 타겟 리스크를 추정하기 위한 신뢰할 수 있는 대체 레이블로 기능할 수 있는가?
• RQ2 표현 인코더의 복잡도는 도메인 불변 모델에서 타겟 일반화에 어떤 영향을 미치는가?
• RQ3 제안된 방법은 기존의 비지도 리스크 추정 기법보다 타겟 오차 추정에서 뛰어나게 성능을 발휘할 수 있는가?
• RQ4 이 방법은 이탈된 분포에서 점별 예측 오차를 어느 정도 탐지할 수 있는가?
• RQ5 리스크 추정 프레임워크는 도메인 적응 모델의 자가 조정을 가능하게 할 수 있는가?

주요 결과

• DIR-Object 작업에서 제안된 방법은 평균 절대 오차 0.021을 기록하여 Ben-David 등(0.114)과 신뢰도 점수(0.088)와 같은 기존 방법들을 크게 능가한다.
• SL-Object 작업에서는 예측된 타겟 리스크와 진짜 타겟 리스크 간 피어슨 상관계수 0.995를 기록하여 Ben-David 등(0.932)과 신뢰도 점수(0.459)를 초월한다.
• 점별 오차 탐지에서, 이 방법은 숫자 분류에서 F1 점수 0.980, 물체 분류에서 0.928을 기록하여 잘못된 예측을 식별하는 데 높은 신뢰성을 보였다.
• 표현 인코더의 복잡도는 예측기 복잡도보다 타겟 일반화에 더 강한 영향을 미치며, 이는 도메인 적응 설계에서 핵심적인 고려 사항임을 시사한다.
• 이 방법은 타겟 리스크 추정에 기반하여 최적의 표현 복잡도를 선택함으로써 DIR 모델의 자가 조정을 가능하게 하여 타겟 일반화를 향상시켰다.
• 이 프레임워크는 비적응형 지도 학습 모델과 적응형 도메인 불변 모델 모두에 대해 타겟 리스크를 성공적으로 추정하여 광범위한 적용 가능성을 입증했다.