[논문 리뷰] Distributionally Robust Logistic Regression

Soroosh Shafieezadeh-Abadeh, Peyman Mohajerin Esfahani외 1명|arXiv (Cornell University)|2015. 09. 30.

Risk and Portfolio Optimization참고 문헌 33인용 수 178

한 줄 요약

이 논문은 훈련 데이터의 경험적 분포 주변에 워샤프스키 거리(Wasserstein distance)를 사용하여 모호성 집합(ambiguity set)을 구성함으로써 분포적으로 강건한 로지스틱 회귀 모델을 제안한다. 이는 외삽 성능 보장을 보장한다. 이 방법은 강건 최적화 문제를 해석 가능한 콘형 프로그램(conic program)으로 재구성하여 고전적 및 정규화된 로지스틱 회귀를 일반화하며, 선형 프로그래밍을 통해 잘못 분류 위험에 대한 계산 가능한 신뢰구간을 제공한다.

ABSTRACT

This paper proposes a distributionally robust approach to logistic regression. We use the Wasserstein distance to construct a ball in the space of probability distributions centered at the uniform distribution on the training samples. If the radius of this ball is chosen judiciously, we can guarantee that it contains the unknown data-generating distribution with high confidence. We then formulate a distributionally robust logistic regression model that minimizes a worst-case expected logloss function, where the worst case is taken over all distributions in the Wasserstein ball. We prove that this optimization problem admits a tractable reformulation and encapsulates the classical as well as the popular regularized logistic regression problems as special cases. We further propose a distributionally robust approach based on Wasserstein balls to compute upper and lower confidence bounds on the misclassification probability of the resulting classifier. These bounds are given by the optimal values of two highly tractable linear programs. We validate our theoretical out-of-sample guarantees through simulated and empirical experiments.

연구 동기 및 목표

• 훈련 데이터가 희소하거나 노이즈가 많을 경우 고전적 로지스틱 회귀의 열악한 외삽 성능을 해결하기 위해.
• 임의의 기법에 의존하지 않는 분포적으로 강건한 최적화에 기반한 체계적인 정규화 프레임워크를 개발하기 위해.
• 일반화 성능에 대한 이론적 보장을 갖춘 확률적으로 해석 가능한 정규화를 제공하기 위해.
• 유도된 분류기의 잘못 분류 확률에 대한 계산 가능한 상한 및 하한 신뢰구간을 계산하기 위해.

제안 방법

• 훈련 샘플의 경험적 분포를 중심으로 하는 워샤프스키 볼(Wasserstein ball)을 구성하며, 이의 반경은 진정한 데이터 생성 분포를 확률적으로 포함하도록 선택된다.
• 워샤프스키 볼 내 모든 분포에 대해 최악의 평균 로그손실(expected logloss)을 최소화하는 분포적으로 강건한 최적화 문제를 설정한다.
• 이중성 이론을 사용하여 강건 문제의 해석 가능한 재구성(reformulation)을 도출하며, 이는 이중 노름(dual norms)과 지표 함수 표현을 포함하는 콘형 최적화 문제로 이어진다.
• 분류 손실을 끝없는 볼록 함수의 최대값으로 표현하여 볼록 완화와 이중성 적용을 가능하게 한다.
• 강건 문제를 이중 노름과 슬랙 변수를 포함하는 추가 변수와 제약 조건을 가진 선형 프로그래밍으로 재구성한다.
• 두 개의 매우 해석 가능한 선형 프로그래밍의 최적값으로 잘못 분류 확률에 대한 계산 가능한 신뢰구간을 유도한다.

실험 결과

연구 질문

• RQ1 데이터 희소성 또는 분포 이탈이 발생할 경우, 분포적으로 강건한 최적화 프레임워크가 로지스틱 회귀의 외삽 성능을 향상시킬 수 있는가?
• RQ2 확률 분포 공간에서의 모호성 집합을 통해 로지스틱 회귀의 정규화는 어떻게 확률적으로 해석될 수 있는가?
• RQ3 유도된 강건 최적화 문제의 계산 복잡도는 무엇이며, 이를 해석 가능한 형태로 재구성할 수 있는가?
• RQ4 제안된 방법은 분류기의 잘못 분류 확률에 대해 엄밀하고 계산 가능한 신뢰구간을 제공할 수 있는가?
• RQ5 제안된 방법은 고전적 및 정규화된 로지스틱 회귀 공식화와 어떻게 관련되어 있으며, 이를 어떻게 일반화하는가?

주요 결과

• 분포적으로 강건한 로지스틱 회귀 문제는 고전적 및 정규화된 로지스틱 회귀를 특수 케이스로 포함하는 해석 가능한 콘형 재구성(reformulation)을 갖는다.
• 이중 노름과 슬랙 변수를 포함하는 콘형 프로그램을 통해 강건 최적화 문제를 효율적으로 해결할 수 있으며, 실용적 구현이 가능하다.
• 최악의 위험(잘못 분류 확률)은 두 개의 선형 프로그래밍의 최적값으로 상한 및 하한이 제시되어 계산 가능한 신뢰구간을 제공한다.
• 사용자가 지정한 신뢰수준에서 진정한 데이터 생성 분포가 워샤프스키 볼 내에 존재할 확률에 대한 비점근적(high-probability) 보장을 제공한다.
• 워샤프스키 반경과 이중 노름 구조를 통해 자연스럽게 정규화가 통합되며, 임의의 기법에 의존하지 않는 체계적인 정규화의 대안을 제공한다.