[논문 리뷰] Robustified Multivariate Regression and Classification Using Distributionally Robust Optimization under the Wasserstein Metric

Ruidi Chen, Ioannis Ch. Paschalidis|arXiv (Cornell University)|2020. 06. 10.

Advanced Statistical Methods and Models참고 문헌 19인용 수 4

한 줄 요약

이 논문은 공변량과 반응값 양쪽에 있는 이상치를 다루기 위해 워샤르슈타인 거리법을 사용하는 분포로버스트 최적화 프레임워크를 제안한다. 최소-최대 워샤르슈타인 DRO 문제를 재구성함으로써, 복수의 반응값 간의 기하학적 구조와 상관관계를 반영하는 행렬 노름 정규화자로 이루어진 정규화된 학습 모델을 도출한다. 이는 다변량 회귀에서 예측 오차를 7–37% 낮추고, 다중분류 로지스틱 회귀에서 최소 변형 거리 측정 기준으로 100% 높은 로버스트성을 달성하여 기준 모델 대비 우수한 성능을 보인다.

ABSTRACT

We develop Distributionally Robust Optimization (DRO) formulations for Multivariate Linear Regression (MLR) and Multiclass Logistic Regression (MLG) when both the covariates and responses/labels may be contaminated by outliers. The DRO framework uses a probabilistic ambiguity set defined as a ball of distributions that are close to the empirical distribution of the training set in the sense of the Wasserstein metric. We relax the DRO formulation into a regularized learning problem whose regularizer is a norm of the coefficient matrix. We establish out-of-sample performance guarantees for the solutions to our model, offering insights on the role of the regularizer in controlling the prediction error. Experimental results show that our approach improves the predictive error by 7% -- 37% for MLR, and a metric of robustness by 100% for MLG.

연구 동기 및 목표

• 공변량과 반응값 양쪽에 있는 이상치에 강건한 다변량 학습 프레임워크를 개발하는 것.
• 일변량에서 다변량 설정으로 분포로버스트 최적화(DRO)를 확장하여, 다변량 선형 회귀(MLR)와 다중분류 로지스틱 회귀(MLG)에 적용하는 것.
• 워샤르슈타인 거리법을 통해 다변량 경우에서 로버스트성과 정규화 간의 이론적이고 계산 가능한 연결 고리를 설정하는 것.
• 분포 변화 및 오염 상황에서 제안된 로버스트 추정량의 외부 샘플 성능 보장을 제공하는 것.
• 공변량 이동과 이상치가 존재하는 데이터셋에서 표준 및 정규화 기반 기준 모델 대비 뛰어난 예측 정확도와 로버스트성을 실증적으로 입증하는 것.

제안 방법

• 학습 데이터의 경험적 분포를 중심으로 하는 워샤르슈타인 모호성 집합 위에서 최악의 기대 손실을 최소화하는 최소-최대 분포로버스트 최적화 문제를 설정한다.
• 이중성 원리를 활용하여 워샤르슈타인 DRO 문제를 정규화된 경험적 손실 최소화 문제로 재구성함으로써, 데이터 거리 측도의 쌍대 노름에서 유도된 행렬 노름 정규화자를 도출한다.
• MLR와 MLG의 계수 행렬에 대해 기하학적 구조와 다중 반응값 간 상관관계를 반영하는 새로운 행렬-노름 정규화자를 도출한다.
• 리프시츠 손실을 갖는 MLR와 로그-손실을 갖는 MLG에 대해 이론적 접근을 적용함으로써, 계산 가능하고 원-이중 해석이 가능한 데이터-계수 관계를 가능하게 한다.
• 워샤르슈타인 거리법을 사용하여 확률적 모호성 집합을 정의함으로써 분포 변화와 오염을 효과적으로 포괄하며, 특히 공변량 이동 상황에서 유용하다.
• 단순한 초월 합산 방식을 피하고 다변량 반응값을 체계적으로 통합함으로써, 반응값 간 상관관계를 유지하는 방식을 채택한다.

실험 결과

연구 질문

• RQ1 다중 상관 반응값을 갖는 다변량 회귀 및 분류 문제에 대해 분포로버스트 최적화를 어떻게 확장할 수 있는가?
• RQ2 워샤르슈타인 거리법 하에서 다변량 학습의 로버스트 대응 문제의 구조는 무엇이며, 일변량 DRO 수식과는 어떻게 다를까?
• RQ3 이론적 재구성 문제에서 유도된 정규화자가 로버스트성과 관련이 있으며, 계수 행렬 공간에서 기하학적으로 어떻게 해석될 수 있는가?
• RQ4 제안된 프레임워크는 표준 및 정규화 기반 기준 모델 대비 데이터 오염 및 공변량 이동 상황에서 더 뛰어난 외부 샘플 성능과 로버스트성을 달성할 수 있는가?
• RQ5 제안된 방법의 예측 정확도 및 적대적 로버스트성에 대한 실증적 영향은 무엇이며, 특히 최소 변형 거리 측정 기준에서 어떤가?

주요 결과

• 제안된 MLR 모델은 이상치 오염 상황에서 표준 다변량 회귀 대비 예측 오차를 7%에서 37%까지 감소시킨다.
• 다중분류 로지스틱 회귀에서 MLG-SR 및 MLG-1S 모델은 최소 변형 거리(MPD)에서 100% 향상되어 입력 변형에 대한 로버스트성이 뚜렷이 향상됨을 나타낸다.
• MLG-1S 모델은 예측 변수 상관관계를 명시적으로 모델링하지 않음에도 불구하고, PCC MLG 대비 정확한 분류 비율(CCR)에서 12% 향상, 로그-손실에서 13% 향상, CVaR에서 16% 향상된다.
• 정규화자와 분포 변화 상황에서의 최악의 위험 간의 연결 고리를 통해 이론적으로 외부 샘플 성능 보장을 제공한다.
• 워샤르슈타인 DRO 프레임워크에서 도출된 행렬-노름 정규화자는 다변량 의존성을 효과적으로 포착하며, 반응값 상관관계를 명시적으로 모델링하지 않더라도 효율적인 최적화를 가능하게 한다.
• 실증 결과는 최적화 기반 접근이 반응값 또는 예측 변수 상관관계를 명시적으로 모델링하는 통계적 방법보다 뛰어난 성능을 보이며, 특히 공변량 이동과 데이터 오염 상황에서 뚜렷한 우수성을 입증한다.