[논문 리뷰] DORO: Distributional and Outlier Robust Optimization

Runtian Zhai, Dan Chen외 2명|arXiv (Cornell University)|2021. 06. 11.

Machine Learning and Algorithms참고 문헌 43인용 수 7

한 줄 요약

이 논문은 DRO를 적응적으로 고위험 인스턴스를 필터링하여 외곽값에 대한 민감도를 줄이는 방식으로 개선하는 분포 및 외곽값에 강건한 최적화 프레임워크인 DORO를 제안한다. Cressie-Read의 Rényi 발산 가족을 활용함으로써, COMPAS, CelebA, CivilComments-Wilds와 같은 대규모 데이터셋에서 성능과 학습 안정성을 향상시켜, 하위집단 이동 상황에서 표준 DRO보다 악성 경우 정확도와 강건성 면에서 뛰어나다.

ABSTRACT

Many machine learning tasks involve subpopulation shift where the testing data distribution is a subpopulation of the training distribution. For such settings, a line of recent work has proposed the use of a variant of empirical risk minimization(ERM) known as distributionally robust optimization (DRO). In this work, we apply DRO to real, large-scale tasks with subpopulation shift, and observe that DRO performs relatively poorly, and moreover has severe instability. We identify one direct cause of this phenomenon: sensitivity of DRO to outliers in the datasets. To resolve this issue, we propose the framework of DORO, for Distributional and Outlier Robust Optimization. At the core of this approach is a refined risk function which prevents DRO from overfitting to potential outliers. We instantiate DORO for the Cressie-Read family of Rényi divergence, and delve into two specific instances of this family: CVaR and $χ^2$-DRO. We theoretically prove the effectiveness of the proposed method, and empirically show that DORO improves the performance and stability of DRO with experiments on large modern datasets, thereby positively addressing the open question raised by Hashimoto et al., 2018.

연구 동기 및 목표

• 하위집단 이동이 있는 실제 작업에서 DRO의 열악한 성능과 불안정성을 해결하기 위해.
• 현대 데이터셋에서 DRO의 최적화되지 않은 행동의 주요 원인으로서의 외곽값 민감도를 규명하기 위해.
• 분포 강건성을 유지하면서 외곽값에 강건한 최적화 프레임워크를 개발하기 위해.
• 제안된 DORO 프레임워크에 대한 이론적 보장과 실증적 검증을 제공하기 위해.
• 오라클 액세스가 불가능한 도메인 무관 설정에서의 모델 선택 전략을 향상시키기 위해.

제안 방법

• DORO는 학습 중에 외곽값일 가능성이 높은 고위험 인스턴스를 적응적으로 가중치를 낮추는 개선된 위험 함수를 도입한다.
• 방법론은 Cressie-Read의 Rényi 발산 가족을 기반으로 하며, 특히 CVaR-DORO와 χ²-DRO에 초점을 맞춘다.
• 하나의 하이퍼파라미터 ε는 위험 기반으로 필터링되는 데이터 비율을 제어하며, 사전 외곽값 레이블 없이도 외곽값에 대한 강건성을 확보한다.
• 프레임워크는 DRO의 악성 경우 최적화 목표를 유지하면서 극단적인 손실 인스턴스에 대한 과적합을 줄인다.
• 이론적 분석을 통해 DORO는 외곽값이 존재하는 상황에서도 하위집단 이동 상황에서 분포 강건성을 유지함을 증명한다.
• 실증 평가에서는 MLP, ResNet18, BERT 등의 다양한 아키텍처를 사용한 대규모 데이터셋(COMPAS, CelebA, CivilComments-Wilds)을 활용한다.

실험 결과

연구 질문

• RQ1 이론적 보장이 있음에도 불구하고 DRO가 실세계 데이터셋에서 실무적으로 실패하는 이유는 무엇인가?
• RQ2 DRO의 열악한 성능과 불안정성은 어느 정도 외곽값 민감도 때문인가?
• RQ3 고위험 인스턴스를 필터링하는 개선된 위험 함수가 DRO의 강건성과 안정성을 향상시킬 수 있는가?
• RQ4 DORO는 하위집단 간 악성 경우 성능에서 DRO 및 ERM보다 어떻게 비교되는가?
• RQ5 도메인 무관 설정에서 DORO에 효과적인 모델 선택 전략은 무엇인가?

주요 결과

• COMPAS 데이터셋에서 α=0.5 및 ε=0.2를 사용한 DORO는 최악의 정확도 89.16±1.41을 기록하여 표준 DRO(87.28±2.05)와 ERM(80.73±1.41)를 모두 앞섰다.
• CelebA에서 α=0.25 및 ε=0.01를 사용한 χ²-DORO는 최악의 정확도 88.76±0.81을 기록하여 χ²-DRO(84.37±4.08)보다 뚜렷이 향상되었다.
• CivilComments-Wilds에서 DORO는 최악의 정확도를 DRO의 63.36±2.51에서 오라클 조건에서 65.36±1.02로 향상시켰으며, 동일한 조건에서 DORO 역시 65.36±1.02의 성능을 기록했다.
• 대부분의 경우 Min CVaR 또는 Min CVaR-DORO 기반 모델 선택 전략은 Max Average Accuracy에 뒤지며, 이는 이러한 기준이 DORO에 대해 신뢰할 수 없다는 것을 시사한다.
• 오라클 전략과 비오라클 전략 간 격차는 여전히 크며, 이는 도메인 무관 설정에서의 모델 선택이 여전히 도전적인 과제임을 보여준다.
• 실험 결과 외곽값 제거가 DRO 성능 향상에 기여함을 확인하여, 외곽값 민감도가 DRO의 불안정성과 열악한 성능의 주요 원인임을 검증했다.