[논문 리뷰] Optimal Representations for Covariate Shift

Yangjun Ruan, Yann Dubois외 1명|arXiv (Cornell University)|2021. 12. 31.

Domain Adaptation and Few-Shot Learning인용 수 12

한 줄 요약

이 논문은 공변량 이동 하에서 도메인 일반화를 위한 최적의 표현을 식별하는 변분 목표를 제안하며, 분류 능력과 도메인 간 마진 지원을 유지시켜 강건성을 확보한다. 비대칭 레이블이 없는 데이터와 도메인에 관계없는 증강 기법(예: 텍스트 기반 설명)을 활용한 자기지도 학습을 통해 DomainBed에서 최신 기준 성능을 달성하며, CLIP 및 이전 최고 성능 모델을 능가한다.

ABSTRACT

Machine learning systems often experience a distribution shift between training and testing. In this paper, we introduce a simple variational objective whose optima are exactly the set of all representations on which risk minimizers are guaranteed to be robust to any distribution shift that preserves the Bayes predictor, e.g., covariate shifts. Our objective has two components. First, a representation must remain discriminative for the task, i.e., some predictor must be able to simultaneously minimize the source and target risk. Second, the representation's marginal support needs to be the same across source and target. We make this practical by designing self-supervised objectives that only use unlabelled data and augmentations to train robust representations. Our objectives give insights into the robustness of CLIP, and further improve CLIP's representations to achieve SOTA results on DomainBed.

연구 동기 및 목표

• 공변량 이동 하에서 도메인 일반화에 대해 강건성을 보장하는 표현의 최소 충분 조건을 규명하는 것.
• 원천 모집단의 위험을 직접 접근할 수 있는 이상화된 도메인 일반화(IDG) 설정을 정의하여 최적의 표현에 대한 이론적 특성화를 가능하게 하는 것.
• 대상 도메인 정보에 접근할 수 없는 상황에서는 어떤 표현 학습 방법도 일관되게 상수 표현을 능가할 수 없다는 것을 입증하는 것.
• 특정 증강 기법(예: 이미지의 텍스트 기반 설명)을 사용하여 레이블이 없는 데이터만을 활용한 실용적인 자기지도 학습 목표를 설계하여 이론적 조건을 강제하는 것.
• 제안된 목표를 통합하여 CLIP 기반 모델의 성능을 향상시켜 DomainBed 벤치마크에서 최신 기준 성능을 달성하는 것.

제안 방법

• 원천 위험 최소화자들이 어떤 공변량 이동에도 강건해지게 하는 표현의 집합을 정확히 제공하는 변분 목표를 제안하는 것.
• 최적성은 두 가지 구성 요소로 정의된다: (a) 표현은 작업에 대해 여전히 분류 가능해야 하며, 하나의 예측자로 원천 및 대상 위험를 모두 최소화할 수 있어야 한다; (b) 표현의 마진 지원은 원천 및 대상 도메인 간에 불변이어야 한다.
• 분류 정보는 유지하지만 도메인 특화된 특징은 제거하는 증강 기반의 자기지도 학습 목표를 도입하며, 예를 들어 이미지의 텍스트 기반 설명이 포함된다.
• 엔트로피 버블릿 또는 유사한 메커니즘을 활용하여 마진 지원의 불변성을 강제함으로써, 이론적 조건을 충족하는 표현을 효과적으로 학습하는 것.
• CLIP에 대해 제안된 CAD(일관된 증강 분리) 목표를 사용하여 레이블이 없는 데이터와 텍스트 기반 증강 기법만을 활용해 미세조정하는 방식으로 적용하는 것.
• 이론적 주장의 검증을 위해 평가 시 '오라클' 모델 선택 기법을 사용하고, 실용적 제약을 분석하기 위해 '원천 검증' 방식과 비교한다.

실험 결과

연구 질문

• RQ1 어떤 표현 조건이 공변량 이동 하에서 어떤 대상 도메인에도 일반화되는 원천 위험 최소화자를 보장하는 데 최소 충분한가?
• RQ2 레이블이 없는 데이터와 도메인에 관계없는 증강 기법만을 사용하여 공변량 이동 하에서 최적의 강건성을 달성할 수 있는 자기지도 학습 목표를 설계할 수 있는가?
• RQ3 기존의 도메인 일반화 방법들이 실무에서 왜 경험적 위험 최소화보다 성능이 열 劣하는가? 이러한 실패의 이면에 있는 이론적 제약은 무엇인가?
• RQ4 CLIP 모델은 어떻게 강건성을 확보하는가? 그리고 최적의 표현을 위한 이론적 조건을 명시적으로 강제함으로써 성능을 추가로 향상시킬 수 있는가?
• RQ5 대상 도메인 정보에의 접근이 도메인 일반화에서 유용한 표현을 학습하는 능력에 얼마나 큰 영향을 미치는가?

주요 결과

• 제안된 CAD 목표를 CLIP와 결합한 결과, DomainBed에서 최신 기준 성능을 달성하였으며, CLIP L + CAD는 VLCS에서 80.8%, PACS에서 93.5%, OfficeHome에서 79.7%, TerraIncognita에서 37.4%, DomainNet에서 51.7%의 정확도를 기록하였다.
• CLIP S + CAD는 모든 DomainBed 데이터셋에서 원본 CLIP S 및 CLIP S (Zero-Shot)를 모두 능가하여, 제안된 방법이 사전학습 이후에도 효과적이라는 것을 입증하였다.
• LAION에서 CLIP L을 훈련할 때 엔트로피 버블릿을 사용하여 마진 지원의 불변성을 강제한 결과, 이를 적용하지 않은 경우보다 DomainBed에서 성능이 향상되었으며, 이는 제안된 방법이 CLIP 외부로도 일반화됨을 보여준다.
• 원천 검증 선택 전략은 원천 도메인에 과적합되는 모델을 생성하여 버블릿의 성능 향상 효과를 약화시키지만, 오라클 선택 전략은 이론적 보장을 더 잘 반영한다.
• 대상 도메인 정보에 접근할 수 없는 상황에서는 어떤 표현 학습 방법도 일관되게 상수 표현을 능가할 수 없으며, 이는 도메인 일반화의 어려움을 설명한다.
• 이론적 분석 결과, 마진 지원의 불변성과 분류 능력은 공변량 이동 하에서 최적의 도메인 일반화를 달성하기 위해 필수적이고 동시에 충분한 조건임을 규명하였다.