[논문 리뷰] Domain Generalization without Excess Empirical Risk

Ozan Şener, Vladlen Koltun|arXiv (Cornell University)|2023. 08. 30.

Domain Adaptation and Few-Shot LearningComputer Science인용 수 3

한 줄 요약

이 논문은 경험적 위험가 최적화가 유지되는 조건 하에서만 사기성 페널티를 최소화하는 새로운 도메인 일반화 방법을 제안한다. 이는 내재적 오차의 과도한 증가를 방지한다. 비율-왜곡 이론과 블라후트-아리모토 스타일의 알고리즘을 활용하여, 훈련 성능 저하 없이 다양한 벤치마크와 모델에서 외부 도메인 일반화 성능을 향상시킨다.

ABSTRACT

Given data from diverse sets of distinct distributions, domain generalization aims to learn models that generalize to unseen distributions. A common approach is designing a data-driven surrogate penalty to capture generalization and minimize the empirical risk jointly with the penalty. We argue that a significant failure mode of this recipe is an excess risk due to an erroneous penalty or hardness in joint optimization. We present an approach that eliminates this problem. Instead of jointly minimizing empirical risk with the penalty, we minimize the penalty under the constraint of optimality of the empirical risk. This change guarantees that the domain generalization penalty cannot impair optimization of the empirical risk, i.e., in-distribution performance. To solve the proposed optimization problem, we demonstrate an exciting connection to rate-distortion theory and utilize its tools to design an efficient method. Our approach can be applied to any penalty-based domain generalization method, and we demonstrate its effectiveness by applying it to three examplar methods from the literature, showing significant improvements.

연구 동기 및 목표

• 기존의 페널티 기반 도메인 일반화 방법에서 공동 최적화가 경험적 위험를 증가시켜 내재적 성능을 해칠 수 있는 실패 모드를 해결한다.
• 경험적 위험와 페널티의 공동 최소화가, 특히 페널티가 잘못 정렬되거나 최적화하기 어려운 경우 과도한 위험을 초래할 수 있음을 규명한다.
• 경험적 위험의 최적성에 손상을 주지 않으면서 페널티만 최소화하는 제약 최적화 프레임워크를 제안한다.
• 경험적 위험의 정류점에 수렴하면서 도메인 일반화 페널티를 최소화한다.
• 아키텍처 변경 없이도 어떤 페널티 기반 도메인 일반화 방법에도 적용 가능한 일반 목적 최적화기 개발

제안 방법

• 모델가 경험적 위험의 정류점에 머무르는 조건 하에서 사기성 페널티를 최소화하는 도메인 일반화 문제를 공식화한다.
• 경계가 있고 감소하는 편향을 가진 편향된 경사 하강법을 사용하여 경험적 위험의 정류점으로의 수렴을 보장한다.
• 비율-왜곡 이론과의 형식적 연결을 도출하며, 여기서 페널티는 왜곡, 경험적 위험는 비율로 간주된다.
• 제약 최적화 문제를 효율적으로 해결하기 위해 블라후트-아리모토 스타일의 반복 알고리즘을 적용한다.
• 경험적 경사 방향에서의 경계된 편차를 유지하면서 페널티를 최소화하는 업데이트 규칙을 설계한다.
• 기존 모델(예: CORAL, FISH, VRex)에 최소한의 수정으로 통합하여 원래의 훈련 다이내믹스를 유지한다.

실험 결과

연구 질문

• RQ1 일반화 성능을 훼손시키지 않고 도메인 일반화에서 과도한 경험적 위험를 제거할 수 있는가?
• RQ2 경험적 위험 최적화와 페널티 최소화를 분리하여 훈련 분포에서의 성능 저하를 방지할 수 있는가?
• RQ3 비율-왜곡 이론이 제약 최적화 도메인 일반화를 위한 원칙적인 프레임워크를 제공할 수 있는가?
• RQ4 페널티 최소화 과정에서 경험적 위험의 정류점 유지가 다양한 벤치마크에서 일관된 성능 향상을 이끌 수 있는가?
• RQ5 다양한 기존 도메인 일반화 모델에 적용했을 때 제안된 방법의 효과성은 어떠한가?

주요 결과

• 제안된 방법은 이미지, 자연어, 형식어, 그래프 모odal리티를 포함한 WILDS 벤치마크에서 외부 도메인 성능을 크게 향상시켰다.
• WILDS 벤치마크에서, ERM가 실제로 더 잘 작동하는 경우가 많음에도 불구하고, ERM와 기존의 도메인 일반화 방법(CORAL, FISH, VRex)을 모두 초월한다.
• CORAL, FISH, VRex와 같은 세 가지 다른 도메인 일반화 모델에 적용했을 때 일관된 성능 향상을 달성하여 광범위한 적용 가능성을 입증한다.
• 실험 결과로는, 방법이 일반화 갭을 줄이면서 내재적 정확도를 유지하거나 향상시키며, 과도한 경험적 위험가 성능에 악영향을 준다는 가설을 검증한다.
• 블라후트-아리모토 기반 최적화는 신뢰성 있게 수렴하며, 경험적 위험 최적화의 품질을 떨어뜨리지 않고 효과적인 페널티 최소화를 가능하게 한다.
• 각 도메인의 경사 계산으로 인해 추가적인 계산 비용이 발생하지만, 대규모 환경에서는 성능 향상 덕분에 이 비용을 감당할 만하다.