[논문 리뷰] Data-driven Optimal Transport Cost Selection for Distributionally Robust Optimizatio

José Blanchet, Yang Kang외 2명|arXiv (Cornell University)|2017. 05. 19.

Risk and Portfolio Optimization인용 수 7

한 줄 요약

이 논문은 분포로 불안정한 최적화(DRO)를 위한 최적 운반 비용 함수를 데이터 기반으로 학습하는 방법을 제안하며, 경험 분포 주변의 불확실성 이웃을 적응적으로 정의함으로써 기계 학습 추정기의 성능을 향상시킵니다. 이 방법은 적응형 정규화를 일반화하며 여러 표준 모델에서 경험적으로 성능을 향상시킵니다.

ABSTRACT

Recently, (Blanchet, Kang, and Murhy 2016, and Blanchet, and Kang 2017) showed that several machine learning algorithms, such as square-root Lasso, Support Vector Machines, and regularized logistic regression, among many others, can be represented exactly as distributionally robust optimization (DRO) problems. The distributional uncertainty is defined as a neighborhood centered at the empirical distribution. We propose a methodology which learns such neighborhood in a natural data-driven way. We show rigorously that our framework encompasses adaptive regularization as a particular case. Moreover, we demonstrate empirically that our proposed methodology is able to improve upon a wide range of popular machine learning estimators.

연구 동기 및 목표

• 분포로 불안정한 최적화(DRO)에서 최적 운반 비용을 선택하기 위한 데이터 기반 프레임워크를 개발하는 것.
• 제곱근 Lasso, SVM, 정규화된 로지스틱 회귀와 같은 기계 학습 모델의 강건성과 성능을 향상시키는 것.
• 제안된 방법을 적응형 정규화의 특수 케이스로 공식적으로 연결하는 것.
• 표준 추정기보다 우수한 성능을 보임을 경험적으로 검증하는 것 — 다양한 학습 과제에서.

제안 방법

• 경험 분포 주변의 모호성 집합을 정의하는 데 사용되는 최적 운반 비용의 비용 함수를 데이터로부터 학습하는 데 활용한다.
• 데이터 기반 최적화 절차를 사용하여 운반 비용을 캘리브레이션함으로써, 이는 기본 데이터 구조를 반영하도록 보장한다.
• 학습된 비용을 DRO 설정에 통합하여, 모호성 집합 위에서의 최악의 기대값을 최소화한다.
• DRO의 이중 표현을 활용하여 해석 가능한 최적화 문제를 유도하며, 이를 효율적으로 해결할 수 있다.
• 적절한 비용 함수 선택 시 결과 추정기가 적응형 정규화로 축소됨을 보여준다.
• 표준 기계 학습 모델에 이 프레임워크를 적용하여 강건하고 적응적인 학습을 가능하게 한다.

실험 결과

연구 질문

• RQ1 최적 운반 비용을 선택하는 데이터 기반 접근법이 기계 학습에서 분포로 불안정한 최적화(DRO)의 성능을 향상시킬 수 있는가?
• RQ2 제안된 방법은 기존의 적응형 정규화 기법과 어떻게 관련이 있는가?
• RQ3 학습된 비용 함수는 제곱근 Lasso나 SVM과 같은 표준 추정기의 성능을 어느 정도 향상시킬 수 있는가?
• RQ4 이론적 보장을 유지하면서도 경험적 성능 향상이 이루어지는가?

주요 결과

• 제안된 방법은 적응형 정규화를 특수 케이스로 일반화하여 강건한 학습을 위한 통합 프레임워크를 제공한다.
• 데이터 기반 비용 학습은 다양한 기계 학습 추정기에서 성능 향상을 이끈다.
• 비용 선택을 DRO 설정 내에 통합함으로써 이론적 엄밀성을 유지한다.
• 경험 결과는 표준 추정기보다 일관되게 향상된 성능을 보이며, 강건성과 적응성의 우수함을 입증한다.