[논문 리뷰] Holistic Robust Data-Driven Decisions

A. Bennouna, Bart P. G. Van Parys외 1명|arXiv (Cornell University)|2022. 07. 19.

Advanced Bandit Algorithms Research인용 수 6

한 줄 요약

이 논문은 통계적 오차, 데이터 노이즈, 데이터 잘못 설정이라는 세 가지 오버피팅 원인을 동시에 보호하는 새로운 분포로부스트 최적화 설정—통합로부스트(Holistic Robust, HR)—를 제안한다. 칼리브-라이블러 및 레비-프로코로프 애매함 집합을 조합함으로써 HR 설정은 포트폴리오 선택에서 표준 기준보다 뛰어난 위험-수익 트레이드오프를 달성한다.

ABSTRACT

The design of data-driven formulations for machine learning and decision-making with good out-of-sample performance is a key challenge. The observation that good in-sample performance does not guarantee good out-of-sample performance is generally known as overfitting. Practical overfitting can typically not be attributed to a single cause but is caused by several factors simultaneously. We consider here three overfitting sources: (i) statistical error as a result of working with finite sample data, (ii) data noise, which occurs when the data points are measured only with finite precision, and finally, (iii) data misspecification in which a small fraction of all data may be wholly corrupted. Although existing data-driven formulations may be robust against one of these three sources in isolation, they do not provide holistic protection against all overfitting sources simultaneously. We design a novel data-driven formulation that guarantees such holistic protection and is computationally viable. Our distributionally robust optimization formulation can be interpreted as a novel combination of a Kullback-Leibler and Lévy-Prokhorov robust optimization formulation. In the context of classification and regression problems, we show that several popular regularized and robust formulations naturally reduce to a particular case of our proposed novel formulation. Finally, we apply the proposed HR formulation to two real-life applications and study it alongside several benchmarks: (1) training neural networks on healthcare data, where we analyze various robustness and generalization properties in the presence of noise, labeling errors, and scarce data, (2) a portfolio selection problem with real stock data, and analyze the risk/return tradeoff under the natural severe distribution shift of the application.

연구 동기 및 목표

• 기존 데이터 기반 설정이 동시에 하나의 오버피팅 원인에만 강건한 데에 기인한 한계를 해결하기 위해.
• 통계적 오차, 데이터 노이즈, 데이터 잘못 설정을 동시에 방어할 수 있는 통합된 설정을 개발하기 위해.
• 기계학습 및 의사결정에서 통합로부스트를 달성하면서도 계산 가능성을 확보하기 위해.
• 실제 적용 사례에서 제안된 설정이 표준 기준보다 뛰어나다는 것을 입증하기 위해.
• 기존의 인기 있는 정규화 및 로부스트 설정이 제안된 HR 프레임워크의 특수 케이스임을 보여주기 위해.

제안 방법

• 분포 불확실성을 모델링하기 위해 칼리브-라이블러 및 레비-프로코로프 거리 측정법을 조합한 새로운 애매함 집합을 제안한다.
• 유한 표본 크기, 측정 정밀도, 데이터 오염에 대해 불변성을 보장하는 분포로부스트 최적화 설정을 설계한다.
• 분류 및 회귀 문제에 적합한 계산적으로 타당한 재구성식을 유도한다.
• 일반적인 정규화 및 로부스트 설정(예: 티코노프, 라소, 로부스트 M-추정기)이 HR 설정의 특수 케이스임을 보여주는 이론적 연결 고리를 확립한다.
• 역사적 주가 데이터를 사용하여 실제 포트폴리오 선택 문제에 HR 설정을 적용한다.
• HR 애매함 집합을 사용한 경험적 리스크 최소화를 통해 더 나은 표본 외 성능을 보이는 의사결정을 유도한다.

실험 결과

연구 질문

• RQ1 단일 데이터 기반 설정이 통계적 오차, 데이터 노이즈, 데이터 잘못 설정을 동시에 보호할 수 있는가?
• RQ2 표본 외 성능 측면에서 제안된 HR 설정은 표준 SAA 및 ERM 방법과 어떻게 비교되는가?
• RQ3 실제 의사결정 환경에서 HR 설정의 계산 가능성과 확장성은 어떠한가?
• RQ4 기존의 로부스트 및 정규화 설정이 HR 프레임워크의 특수 케이스로 얼마나 깊이 통합되는가?
• RQ5 HR 설정은 표준 기준에 비해 실제 금융 데이터에서 더 나은 위험-수익 트레이드오프를 제공하는가?

주요 결과

• 제안된 HR 설정은 통계적 오차, 데이터 노이즈, 데이터 잘못 설정이라는 세 가지 오버피팅 원인을 동시에 보호한다.
• 표준 기준에 비해 실제 포트폴리오 선택 문제에서 HR 설정이 위험-수익 트레이드오프를 크게 향상시킨다.
• HR 설정은 여러 인기 있는 정규화 및 로부스트 최적화 방법을 특수 케이스로 일반화하여, 하나의 강력한 프레임워크 안에서 통합한다.
• 애매함 집합에서 칼리브-라이블러 및 레비-프로코로프 거리 측정법의 조합은 각각의 측정법을 별도로 사용할 때보다 더 강력한 분포로부스트를 가능하게 한다.
• 실제 주가 데이터에 대한 실증 결과는 HR 설정에서 유도된 의사결정이 SAA 및 ERM의 결과보다 더 나은 표본 외 성능을 보임을 확인한다.
• HR 설정은 계산적으로 타당하고 확장 가능하여 데이터 기반 의사결정 환경에서 실용적인 구현이 가능하다.