[논문 리뷰] Learning Models with Uniform Performance via Distributionally Robust Optimization

John C. Duchi, Hongseok Namkoong|arXiv (Cornell University)|2018. 10. 19.

Insurance, Mortality, Demography, Risk Management인용 수 23

한 줄 요약

이 논문은 f-divergence를 사용하여 경험 분포에 가까운 분포 집합에 대해 가장 나쁜 경우의 기대 손실을 최소화하는 분포로 안정적인 최적화(DRO) 프레임워크를 제안한다. 이 방법은 하위집단과 꼬리 인스턴스 전반에서 균일한 성능을 보장하며, 수렴성, 점근 정규성, 유한 표본 경계에 대한 이론적 보장을 제공한다. 실세계 작업인 세분화된 인식과 하위집단 일반화에서 표준 방법보다 공정성과 강건성 면에서 뛰어난 성능을 보인다.

ABSTRACT

A common goal in statistics and machine learning is to learn models that can perform well against distributional shifts, such as latent heterogeneous subpopulations, unknown covariate shifts, or unmodeled temporal effects. We develop and analyze a distributionally robust stochastic optimization (DRO) framework that learns a model providing good performance against perturbations to the data-generating distribution. We give a convex formulation for the problem, providing several convergence guarantees. We prove finite-sample minimax upper and lower bounds, showing that distributional robustness sometimes comes at a cost in convergence rates. We give limit theorems for the learned parameters, where we fully specify the limiting distribution so that confidence intervals can be computed. On real tasks including generalizing to unknown subpopulations, fine-grained recognition, and providing good tail performance, the distributionally robust approach often exhibits improved performance.

연구 동기 및 목표

• 분포 이동으로 인해 少수 하위집단과 꼬리 인스턴스에서 성능이 떨어지는 표준 모델의 문제를 해결하기 위해.
• 특히 어려운 또는 소수의 경우에 대해 모든 입력 영역에서 균일한 성능을 보장하는 강건한 최적화 프레임워크를 개발하기 위해.
• DRO 추정기의 유한 표본 및 점근 통계적 보장을 제공하기 위해, 수렴 속도와 점근 분포를 포함한다.
• 제한 분포의 완전한 특성화를 통해 학습된 파라미터에 대한 신뢰구간 구축을 가능하게 하기 위해.
• 세분화된 인식과 하위집단 일반화와 같은 실세계 작업에서 접근법을 실증적으로 검증하여 꼬리 성능 향상을 입증하기 위해.

제안 방법

• 경험 분포를 중심으로 f-divergence 구간 반경 ρ 내의 모든 분포에 대해 가장 나쁜 경우의 기대 손실을 최소화하는 방식으로 강건 최적화 문제를 수립한다.
• 볼록 쌍대성 기법을 활용해 DRO 문제의 계산 가능한 형태를 유도하며, 분산 생성 함수 f의 쌍대 함수를 통해 효율적인 계산을 가능하게 한다.
• 실제로 진짜 데이터 생성 분포를 추정하기 위해 경험 분포를 사용하는 플러그인 추정기 방법을 적용한다.
• 경험 과정 이론과 약한 수렴 도구를 적용해 추정기의 점근 정규성과 유한 표본 경계를 도출한다.
• DRO 추정기가 일致성과 점근 정규성을 만족하는 조건을 도출하며, 명시적인 점근 공분산 구조를 제공한다.
• 브라켓팅 엔트로피와 모멘트 조건을 사용해 경험 과정의 수렴성과 추정기의 중심극한정리의 타당성을 확립한다.

실험 결과

연구 질문

• RQ1 분포로 안정적인 최적화 프레임워크는 분포 이동 상황에서 어려운 또는 소수의 하위집단 인스턴스에서 모델 성능을 향상시킬 수 있는가?
• RQ2 유한 표본에서 DRO 추정기의 수렴 속도는 표준 경험 리스크 최소화(EPM)와 비교해 어떻게 되는가?
• RQ3 DRO 추정기의 점근 분포는 무엇이며, 이를 통해 유효한 신뢰구간을 만들 수 있는가?
• RQ4 f-divergence 함수 f와 반경 ρ는 특정 유형의 꼬리 성능를 제어하기 위해 어떻게 선택해야 하는가?
• RQ5 잠재적 이질성 또는 공변수 이동이 있는 실세계 작업에서 DRO 접근법은 측정 가능한 성능 향상을 제공하는가?

주요 결과

• f-divergence에 의한 데이터 생성 분포의 변형에 대해 가장 나쁜 경우의 손실을 최소화함으로써 DRO 프레임워크는 모든 입력 영역에서 균일한 성능을 달성한다.
• 유한 표본 최대-최소 상한 및 하한 경계를 통해, 분포로 안정성은 표준 ERM에 비해 수렴 속도에 비용이 따를 수 있음을 보여준다.
• DRO 추정기의 점근 분포는 완전히 특성화되어 있어 모델 파라미터에 대한 유효한 신뢰구간을 구축하는 데 기여한다.
• 세분화된 인식과 하위집단 일반화와 같은 실세계 작업에서 DRO 방법은 꼬리 인스턴스와 소수 하위집단에서 향상된 성능을 보였다.
• 이론적 분석을 통해 DRO 추정기는 온건한 정규성 조건 하에서 일치성과 점근 정규성을 만족하며, 수렴 속도는 f와 ρ의 선택에 따라 달라진다.
• 실증 결과는 DRO 접근법이 꼬리 성능이 중요한 안전성 및 공정성 중심 응용 분야에서 표준 모델을 능가하는 성능을 보임을 보여준다.