[논문 리뷰] Distributionally Robust Stochastic Optimization with Dependence Structure

Rui Gao, Anton J. Kleywegt|arXiv (Cornell University)|2017. 01. 16.

Risk and Portfolio Optimization참고 문헌 25인용 수 31

한 줄 요약

이 논문은 분포로 부터의 불확실성을 고려한 확률적 최적화(DRSO) 프레임워크를 제안하며, 모호성 집합에 선형 상관관계와 순서 상관관계를 명시적으로 통합함으로써 샘플 외 성능를 향상시킨다. 워샤르스키 거리와 모멘트 또는 코풀라 기반 제약 조건을 조합함으로써, 기존의 모멘트 기반 또는 워샤르스키 거리 전용 DRSO 방법보다 수치 실험에서 뛰어난 성능을 보이는 해석 가능한 이중 재구성식을 도출한다.

ABSTRACT

Distributionally robust stochastic optimization (DRSO) is a framework for decision-making problems under certainty, which finds solutions that perform well for a chosen set of probability distributions. Many different approaches for specifying a set of distributions have been proposed. The choice matters, because it affects the results, and the relative performance of different choices depend on the characteristics of the problems. In this paper, we consider problems in which different random variables exhibit some form of dependence, but the exact values of the parameters that represent the dependence are not known. We consider various sets of distributions that incorporate the dependence structure, and we study the corresponding DRSO problems. In the first part of the paper, we consider problems with linear dependence between random variables. We consider sets of distributions that are within a specified Wasserstein distance of a nominal distribution, and that satisfy a second-order moment constraint. We obtain a tractable dual reformulation of the corresponding DRSO problem. This approach is compared with the traditional moment-based DRSO and Wasserstein-based DRSO with no moment constraints. Numerical experiments suggest that our new formulation has superior out-of-sample performance. In the second part of the paper, we consider problems with various types of rank dependence between random variables, including rank dependence measured by Spearman's footrule distance between empirical rankings, comonotonic distributions, box uncertainty for individual observations, and Wasserstein distance between copulas associated with continuous distributions. We also obtain a dual reformulation of the DRSO problem. A desirable byproduct of the formulation is that it also avoids an issue associated with the one-sided moment constraints in moment-based DRSO problems.

연구 동기 및 목표

• 기존의 DRSO 방법이 랜덤 변수 간의 의존성 구조를 무시하는 한계를 해결하고자 하며, 이러한 의존성이 알려져 있거나 의심되는 경우에도 이를 고려하고자 한다.
• 모호성 집합 내에서 선형 상관관계와 순서 상관관계(예: 코풀라를 통한)를 명시적으로 모델링하는 새로운 DRSO 설정의 개발을 목적으로 한다.
• 특히 데이터 기반 설정에서 효율적인 계산이 가능한, 이러한 새로운 DRSO 문제의 해석 가능한 이중 재구성식 유도를 목적으로 한다.
• 의존성 구조를 통합할 경우 기존의 모멘트 기반 또는 워샤르스키 거리 전용 DRSO 대비 더 나은 샘플 외 성능를 달성할 수 있음을 입증하고자 한다.
• 기존의 모멘트 기반 DRSO에서 발생하는 일방적인 모멘트 제약 조건으로 인해 너무 보수적인 해가 도출되는 문제를 해결하고자 한다.

제안 방법

• 명시적 분포에서의 워샤르스키 거리 제약 조건과 두 번째 모멘트 제약 조건을 조합하여 선형 의존성을 모델링하는 선형-CRSO를 수립한다.
• 볼록 쌍대성 이론을 활용하여 선형-CRSO 문제의 강력한 이중 재구성식을 도출함으로써, 정수형 프로그래밍을 통한 효율적 해법을 가능하게 한다.
• 코풀라 기반의 모호성 집합을 사용하여 순서 의존성을 모델링하는 랭크-CRSO를 도입하며, 코풀라 간의 워샤르스키 거리와 기타 순서 기반 거리(예: 스피어만의 발자국)를 포함한다.
• 동일한 쌍대성 프레임워크를 랭크-CRSO에 적용하여, 코풀라에 대한 ∞-워샤르스키 거리 기반의 해석 가능한 이중 형식을 도출한다.
• 실제 데이터를 활용하여 명시적 분포를 정의하고, 알려진 의존성 패턴을 유지하면서도 분포 이탈에 대비한 강건성을 확보하는 모호성 집합을 구성한다.
• 스푸르 콘텐츠 및 코널 프로그래밍 내의 쌍대성 기법을 활용하여, 최대-최소 강건 문제를 해석 가능한 원형 형태로 변환한다.

실험 결과

연구 질문

• RQ1 선형 상관관계 또는 순서 의존성과 같은 의존성 구조는 어떻게 분포로 부터의 불확실성을 고려한 확률적 최적화에 효과적으로 통합될 수 있는가?
• RQ2 의존성 구조를 통합할 경우, 기존의 모멘트 기반 또는 워샤르스키 거리 기반 접근법 대비 DRSO 해의 샘플 외 성능에 어떤 영향을 미치는가?
• RQ3 워샤르스키 거리와 의존성 제약 조건을 모두 포함한 DRSO 문제에 대해 해석 가능한 이중 재구성식을 도출할 수 있는가?
• RQ4 제안된 설정은 기존의 모멘트 기반 DRSO에서 발생하는 일방적인 모멘트 제약 조건으로 인한 보수성 문제를 피할 수 있는가?
• RQ5 다변량 분포에서 진정한 의존성 구조를 포착하는 데 있어, 다양한 의존성 측정법(예: 코풀라 간의 워샤르스키 거리)은 어떻게 상호 비교될 수 있는가?

주요 결과

• 워샤르스키 거리와 두 번째 모멘트 제약 조건을 조합한 제안된 선형-CRSO 설정은 수치 실험에서 기존의 모멘트 기반 또는 워샤르스키 거리 전용 DRSO 대비 뛰어난 샘플 외 성능를 달성한다.
• 선형-CRSO의 이중 재구성식은 해석 가능하며, 정수형 프로그래밍을 통해 효율적으로 해결할 수 있어 실용적 구현이 가능하다.
• 코풀라 간의 ∞-워샤르스키 거리 기반 랭크-CRSO는 해석 가능한 이중 형식을 도출함으로써, 다양한 의존성 측정법에 대한 방법의 유연성을 입증한다.
• 코풀라 간의 워샤르스키 거리는 순서 의존성을 효과적으로 포착하며, 이중 정규분포에서 공모노트론성 증가를 정확히 반영함을 예시로 보여준다.
• 수치 결과는 제안된 설정이 기존의 모멘트 기반 DRSO에서 발생하는 과도한 보수성 문제를 피함으로써 더 나은 의사결정 품질을 도출함을 시사한다.
• 증가하는 상관관계를 갖는 이변량 정규분포의 예시에서, 오직 코풀라 간의 워샤르스키 거리만이 직관적인 의존성 증가 개념을 정확히 반영함을 입증하며, 코풀라 기반 측정법의 타당성을 검증한다.