[논문 리뷰] Pareto Invariant Risk Minimization: Towards Mitigating the Optimization Dilemma in Out-of-Distribution Generalization

Yongqiang Chen, Kaiwen Zhou외 9명|arXiv (Cornell University)|2022. 06. 15.

Machine Learning and Data Classification인용 수 10

한 줄 요약

이 논문은 외부 분포(Out-of-Distribution, OOD) 일반화에서의 최적화 역설을 해결하기 위해 경험적 위험 최소화(ERM)와 불변 위험 최소화(IRM) 목적함수를 동시에 최적화하는 다목적 최적화 프레임워크인 파레토 불변 위험 최소화(Pareto Invariant Risk Minimization, PAIR)를 제안한다. 파레토 경계 접근법을 활용함으로써 히우리스틱 페널티 가중치 설정이 필요 없으며, ERM 정확도를 훼손하지 않으면서도 여러 벤치마크에서 최신 기준(SOTA)의 OOD 성능을 달성한다.

ABSTRACT

Recently, there has been a growing surge of interest in enabling machine learning systems to generalize well to Out-of-Distribution (OOD) data. Most efforts are devoted to advancing optimization objectives that regularize models to capture the underlying invariance; however, there often are compromises in the optimization process of these OOD objectives: i) Many OOD objectives have to be relaxed as penalty terms of Empirical Risk Minimization (ERM) for the ease of optimization, while the relaxed forms can weaken the robustness of the original objective; ii) The penalty terms also require careful tuning of the penalty weights due to the intrinsic conflicts between ERM and OOD objectives. Consequently, these compromises could easily lead to suboptimal performance of either the ERM or OOD objective. To address these issues, we introduce a multi-objective optimization (MOO) perspective to understand the OOD optimization process, and propose a new optimization scheme called PAreto Invariant Risk Minimization (PAIR). PAIR improves the robustness of OOD objectives by cooperatively optimizing with other OOD objectives, thereby bridging the gaps caused by the relaxations. Then PAIR approaches a Pareto optimal solution that trades off the ERM and OOD objectives properly. Extensive experiments on challenging benchmarks, WILDS, show that PAIR alleviates the compromises and yields top OOD performances.

연구 동기 및 목표

• ERM과 OOD 목적함수 간의 충돌로 인해 히우리스틱 페널티 조정이 필요한 OOD 일반화에서의 최적화 역설을 해결하기 위해.
• 최적화의 완화로 인해 진정한 불변 솔루션을 유지하지 못하는 완화된 OOD 목적함수(예: IRMv1)의 한계를 극복하기 위해.
• 수동적인 하이퍼파rameter 조정 없이 ERM 및 OOD 성능 간의 균형 잡힌 트레이드오프를 달성하는 방법을 개발하기 위해.
• 다목적 최적화를 통해 파레토 최적 해에 효율적으로 접근할 수 있으며, 부분적인 타협을 피할 수 있음을 보여주기 위해.
• 다양한 분포 이동 상황에서 일관되게 높은 OOD 성능을 제공하는 강건한 훈련 체계를 제공하기 위해.

제안 방법

• PAIR는 OOD 일반화 문제를 다목적 최적화(MOO) 문제로 재정의하여, ERM 및 불변 위험 최소화(IRM) 목적함수를 동시에 최소화한다.
• 기울기 갈등 상황에서 ERM 및 OOD 목적함수 간의 균형을 적응적으로 조정하는 기울기 기반 내림차순 방향을 도입하여, 고정된 선형 가중치 방식을 피한다.
• 해결책이 ERM 및 OOD 성능 간 최적의 트레이드오프를 이룰 수 있도록 파레토 경계에 맞춰진 내림차순 방향을 계산한다.
• 원래 IRM 목적함수를 직접 최적화함으로써 페널티 항을 사용하지 않으며, 이로 인해 이론적 강건성이 유지된다.
• 기울기 일치를 기반으로 한 동적 가중치 메커니즘을 활용하여, 하이퍼파rameter 수동 조정 없이도 안정적인 최적화를 가능하게 한다.
• 표준 OOD 벤치마크(Wilds)에서 여러 평가 프로토콜을 통해 검증되었으며, ColoredMNIST, PACS, TerraIncognita 포함.

실험 결과

연구 질문

• RQ1 다목적 최적화 프레임워크는 히우리스틱 페널티 가중치에 의존하지 않고 ERM 및 OOD 일반화 간의 트레이드오프를 완화할 수 있는가?
• RQ2 원래 IRM 목적함수의 완화를 피할 경우, 진정한 불변 예측기의 보존이 향상되는가?
• RQ3 기울기 갈등이 존재하는 비볼록, 실제 세계의 딥러닝 환경에서 PAIR는 파레토 최적 해에 도달할 수 있는가?
• RQ4 ERM 및 OOD 일반화 성능 측면에서 PAIR는 기존 최고 성능(SOTA) 방법들(예: IRM, GroupDRO, Fishr)과 비교해 어떻게 성능을 내는가?
• RQ5 PAIR는 훈련 및 테스트 도메인 검증을 포함한 다양한 데이터 분할 및 검증 프로토콜에 대해 강건한가?

주요 결과

• PAIR는 Wilds 벤치마크에서 IRM, GroupDRO, Fishr를 모두 초월하는 최신 기준(SOTA)의 OOD 일반화 성능을 달성한다.
• 훈련 도메인 검증을 위한 PACS에서 PAIR-s는 평균 OOD 정확도 85.1%를 기록하여 IRM 대비 +7.3% 향상되었다.
• 테스트 도메인 검증을 위한 ColoredMNIST에서 PAIR-s는 평균 OOD 정확도 69.0%를 기록하여 IRM 대비 +2.9% 향상되었다.
• PAIR는 ERM 정확도를 떨어뜨리지 않으면서도 일관되게 OOD 성능을 향상시켜 효과적인 트레이드오프 관리 능력을 입증한다.
• 하이퍼파rameter 조정 없이도 모든 평가 프로토콜에서 최고 성능을 기록하며, 훈련 및 테스트 도메인 검증 모두에서 뛰어난 성능을 보였다.
• 특히 TerraIncognita와 같은 도전적인 환경에서, IRM 및 기타 방법들이 보이는 성능 저하를 PAIR는 피함으로써 강건성을 입증했다.