[논문 리뷰] Distributionally Robust Losses for Latent Covariate Mixtures

John C. Duchi, Tatsunori Hashimoto외 1명|arXiv (Cornell University)|2020. 07. 28.

Topic Modeling인용 수 6

한 줄 요약

이 논문은 잠재적 소수군 하위집단에 대해 가장 나쁜 경우의 기대 손실을 최소화하는 분포로 보존 최적화 프레임워크를 제안한다. 이는 하위집단 정체성이 알려져 있지 않은 경우에도 적용 가능하다. 최소 비율 임계값으로 정의된 타당한 소수군 하위집단 집합 위에서 볼록 최적화 문제를 수립함으로써, 유한 샘플 수렴 보장을 제공하면서도 모든 충분히 큰 하위집단에서 균일한 성능을 확보한다.

ABSTRACT

While modern large-scale datasets often consist of heterogeneous subpopulations -- for example, multiple demographic groups or multiple text corpora -- the standard practice of minimizing average loss fails to guarantee uniformly low losses across all subpopulations. We propose a convex procedure that controls the worst-case performance over all subpopulations of a given size. Our procedure comes with finite-sample (nonparametric) convergence guarantees on the worst-off subpopulation. Empirically, we observe on lexical similarity, wine quality, and recidivism prediction tasks that our worst-case procedure learns models that do well against unseen subpopulations.

연구 동기 및 목표

• 표준 평균 손실 최소화가 쉬운 예시에 치우쳐 있는 이질적 데이터셋에서 소수군이나 어려운 하위집단에서의 성능이 열 劣하는 문제를 해결하기 위해.
• 하위집단 정체성이 명시적으로 알려져 있지 않은 상황에서 주어진 최소 크기의 모든 하위집단에서 균일하게 낮은 손실을 보장하는 방법을 개발하기 위해.
• 잠재적 공변량 이동 상황에서 최악의 하위집단 성능에 대해 유한 샘플, 비모수적 수렴 보장을 제공하기 위해.
• 개인정보나 규제적 제약으로 인해 민감한 정보나 인구통계학적 정보를 확보할 수 없는 환경에서의 강건성 확보를 위해.
• 분포 이동이 일부 공변량에 국한되는 경우, 예를 들어 시각 작업에서 지리적 위치와 같은 경우로 일반화하기 위해.

제안 방법

• 최소 비율 α₀ 이상을 갖는 모든 하위집단에 대해 최악의 경우 기대 손실을 최소화하는 분포로 보존 최적화(DRO) 문제를 수립한다.
• 가능한 소수군 구성요소로 간주될 수 있는 하위집단 집합을 타당한 집합으로 정의하며, 이는 최소 비율 α₀를 기준으로 한다.
• DRO 문제의 이중 형태를 사용하여, X 조건부 손실의 조건부가치위험(CVaR)과 연결한다.
• 유한 샘플 제어를 보장하기 위해 가중 함수에 대한 리프시츠 조건과 유계성 조건을 도입한다.
• 가중 함수 제약 조건에 대한 이중 변수를 포함하는 이중 최적화 문제를 유도하여 계산 가능성을 확보한다.
• 레베슈 추정법과 커버링 수론적 접근을 활용한 원-이중 분석을 통해 최악의 경우 위험에 대한 유한 샘플 경계를 유도한다.

실험 결과

연구 질문

• RQ1 하위집단 정체성이 알려져 있지 않은 상황에서도 주어진 최소 크기의 모든 하위집단에서 균일하게 낮은 손실을 보장하는 볼록 최적화 절차를 설계할 수 있는가?
• RQ2 민감한 속성이나 인구통계학적 정보에 접근할 수 없는 상황에서 잠재적 공변량 이동에 대한 분포로 보존 강건성을 달성할 수 있는가?
• RQ3 혼합 모델 설정에서 최악의 하위집단 성능에 대해 어떤 유한 샘플 수렴 보장을 제공할 수 있는가?
• RQ4 제안된 방법은 새로운 하위집단에 대한 강건성 측면에서 표준 평균 손실 최소화 방법보다 어떻게 비교되는가?
• RQ5 지리적 위치와 같은 일부 공변량에서의 이동을 제어하기 위해 이 프레임워크를 어떻게 응용할 수 있는가?

주요 결과

• 제안된 방법은 최악의 하위집단 위험에 대해 유한 샘플 수렴 보장을 확보하여, 모든 충분히 큰 하위집단에서 균일한 성능을 보장한다.
• 어휘 유사도, 포도 품질, 재범 예측 작업에 대한 실험 결과에서, 이는 새로운 하위집단으로의 일반화가 잘 되는 모델을 학습함을 보였다.
• DRO 문제의 이중 형태는 CVaR 유형의 목적함수와 대응되며, 이는 기존 강건 최적화 원칙과의 연결 고리를 제공한다.
• 민감한 속성이 확보되지 않은 경우에도 방법이 효과를 유지하므로, 개인정보 제약이 있는 응용 분야에 적합하다.
• 이론적 분석 결과, 최악의 위험 경계는 커버링 수와 함수 클래스의 복잡도에 비례하며, 비점근적 제어를 제공한다.
• 혼동 요인과 공변량 이동에 대해 강건하며, 이는 X의 마진 분포 내 잠재적 혼합 구성요소를 명시적으로 고려하기 때문이다.