[논문 리뷰] An Online Learning Approach to Interpolation and Extrapolation in Domain Generalization

Elan Rosenfeld, Pradeep Ravikumar외 1명|arXiv (Cornell University)|2021. 02. 25.

Machine Learning and Algorithms참고 문헌 34인용 수 6

한 줄 요약

이 논문은 도메인 일반화에서 보간과 외삽의 형식적 분석을 위해 온라인 학습 프레임워크를 도입하며, 유사한 통계 복잡도에도 불구하고 외삽은 보간보다 계산적으로 훨씬 더 어렵다는 것을 보여준다. 또한 ERM(표본 위험 최소화)와 그 노이즈가 있는 변형이 둘 다 최대최소 최적임을 증명하여, ERM가 외삽에서 실패한다는 일반적인 믿음에 도전한다.

ABSTRACT

A popular assumption for out-of-distribution generalization is that the training data comprises sub-datasets, each drawn from a distinct distribution; the goal is then to "interpolate" these distributions and "extrapolate" beyond them -- this objective is broadly known as domain generalization. A common belief is that ERM can interpolate but not extrapolate and that the latter is considerably more difficult, but these claims are vague and lack formal justification. In this work, we recast generalization over sub-groups as an online game between a player minimizing risk and an adversary presenting new test distributions. Under an existing notion of inter- and extrapolation based on reweighting of sub-group likelihoods, we rigorously demonstrate that extrapolation is computationally much harder than interpolation, though their statistical complexity is not significantly different. Furthermore, we show that ERM -- or a noisy variant -- is provably minimax-optimal for both tasks. Our framework presents a new avenue for the formal analysis of domain generalization algorithms which may be of independent interest.

연구 동기 및 목표

• 도메인 일반화에서 보간과 외삽의 계산 복잡도와 통계 복잡도를 형식적으로 분석하는 것.
• ERM가 외삽에서 실패한다는 일반적인 믿음을 도전하기 위해 그 최적성에 대한 엄밀한 이론적 근거를 제공하는 것.
• 일회성 최악의 경우 최소화 게임보다 더 세밀한 대안으로 OOD 일반화 평가를 위한 온라인 학습 프레임워크를 제안하는 것.
• 확률 밀도 재가중화가 훈련 도메인을 초월한 외삽을 모델링하는 데 적합한 공식화인지 조사하는 것.
• 환경 손실 함수의 기하학적 구조가 일반화 성능에 미치는 영향을 탐구하는 것.

제안 방법

• 학습자가 위험를 최소화하고, 적대자가 테스트 분포를 선택하는 온라인 게임으로 도메인 일반화를 재구성한다.
• 보간을 훈련 환경의 볼록 조합으로 모델링하고, 외삽을 훈련 분포의 볼록 hull을 초월한 확률 밀도 재가중화로 모델링한다.
• 최악의 경우 일회성 최소화 게임을 대체하기 위해 온라인 환경에서의 회귀 최소화를 사용해 알고리즘 성능을 분석한다.
• 회귀 한계와 최대최소 최적성과 같은 온라인 학습 이론 도구를 적용하여 이론적 보장을 도출한다.
• 제안된 프레임워크 하에서 ERM와 노이즈가 있는 변형이 보간과 외삽 모두에 대해 최대최소 최적임을 증명한다.
• 손실 함수 기하학의 역할을 분석하고, 일반화에 결정적인 영향을 미친다는 것을 보여주며, 표현 학습을 통한 향상 가능성을 제안한다.

실험 결과

연구 질문

• RQ1 도메인 일반화에서 보간과 외삽의 계산 난이도를 구분할 수 있는 공식적 프레임워크가 존재하는가?
• RQ2 ERM가 외삽에서 실패할 것으로 여겨지지만 실제로는 잘 작동하는 이유는 무엇인가?
• RQ3 최악의 경우 일회성 최소화 게임보다 온라인 학습이 OOD 일반화에 대해 더 세밀한 분석을 제공할 수 있는가?
• RQ4 확률 밀도 재가중화는 훈련 도메인을 초월한 외삽을 모델링하는 데 적합한 공식화인가?
• RQ5 환경 손실 함수의 기하학적 구조는 도메인 일반화 알고리즘의 일반화 성능에 어떻게 영향을 미치는가?

주요 결과

• 외삽은 보간보다 계산적으로 훨씬 더 어렵고, 통계 복잡도는 유사하나 계산 복잡도 격차는 지수적이다.
• 제안된 온라인 프레임워크 하에서 표본 위험 최소화(ERM)와 노이즈가 있는 변형이 보간과 외삽 모두에 대해 엄밀히 최대최소 최적임이 입증된다.
• ERM가 외삽할 수 없다는 일반적인 믿음은 공식적으로 타당하지 않으며, ERM는 외삽 영역에서도 여전히 최적이다.
• 분포 이질성의 확률 밀도 재가중화 모델은 일반적인 외삽에 적합하지 않을 수 있으며, 이는 현재의 공식화를 재고할 필요가 있음을 시사한다.
• 환경 손실 함수의 기하학적 구조는 일반화에 결정적인 역할을 하며, 표현 학습을 통해 추가적인 향상 가능성을 시사한다.
• 제안된 온라인 게임 프레임워크는 최악의 경우 평가보다 더 세밀한 성능 신호를 제공하며, 실제 세계 성능을 더 잘 반영한다.