[논문 리뷰] Robust Sample Average Approximation

Dimitris Bertsimas, Vishal Gupta외 1명|arXiv (Cornell University)|2014. 08. 19.

Risk and Portfolio Optimization참고 문헌 47인용 수 11

한 줄 요약

이 논문은 표본 평균 근사(SAA)와 분포로 보존 최적화를 조합한 데이터 기반 최적화 방법인 강건한 표본 평균 근사(Robust SAA)를 제안한다. 가설 검정을 통해 유한 샘플 성능 보장을 보장하며, 표준 SAA와 달리 강건한 유한 샘플 경계와 안정된 해를 제공한다. 同시로 점점 증가하는 수렴성과 해석 가능성도 유지하며, 재고 관리 및 포트폴리오 배분 실험에서 기존 방법들을 능가한다.

ABSTRACT

Sample average approximation (SAA) is a widely popular approach to data-driven decision-making under uncertainty. Under mild assumptions, SAA is both tractable and enjoys strong asymptotic performance guarantees. Similar guarantees, however, do not typically hold in finite samples. In this paper, we propose a modification of SAA, which we term Robust SAA, which retains SAA's tractability and asymptotic properties and, additionally, enjoys strong finite-sample performance guarantees. The key to our method is linking SAA, distributionally robust optimization, and hypothesis testing of goodness-of-fit. Beyond Robust SAA, this connection provides a unified perspective enabling us to characterize the finite sample and asymptotic guarantees of various other data-driven procedures that are based upon distributionally robust optimization. This analysis provides insight into the practical performance of these various methods in real applications. We present examples from inventory management and portfolio allocation, and demonstrate numerically that our approach outperforms other data-driven approaches in these applications.

연구 동기 및 목표

• 데이터 기반 불확실성 하의 결정 문제에서 표준 표본 평균 근사(SAA)의 유한 샘플 성능 보장 부족 문제를 해결하기 위해.
• 특히 조건이 나쁜 또는 고차원 설정에서 작은 또는 중간 크기의 샘플 크기에서 SAA 해의 불안정성 문제를 해결하기 위해.
• SAA의 점점 증가하는 수렴성과 해석 가능성은 유지하면서 강력한 유한 샘플 성능 보장을 추가하는 방법을 개발하기 위해.
• SAA, 분포로 보존 최적화, 통계적 적합도 검정 간의 연결을 통해 데이터 기반 최적화 방법의 분석을 통합하기 위해.
• 실증적으로 Robust SAA가 SAA, 2-SAA 및 기타 DRO 기반 방법보다 외부 샘플 성능과 해의 안정성 측면에서 뛰어나다는 것을 입증하기 위해.

제안 방법

• 표본 평균 근사(SAA)의 수정으로, 경험 분포를 데이터 기반의 불확실성 집합 위에서의 분포로 보존 최적화(DRO) 문제로 대체하는 Robust SAA를 제안한다.
• 적합도 검정을 통해 유의미한 확률(1−α)로 진정한 분포 F가 포함될 수 있도록 분포 불확실성 집합(DUS)을 구성한다.
• Kolmogorov-Smirnov, Cramér-von Mises 등의 통계적 검정을 사용하여 DUS를 정의함으로써, 진정한 분포를 포함할 확률이 최소 1−α가 되도록 보장한다.
• 다양한 일반적인 비용 함수에 대해 해석 가능성을 유지하면서도, 원뿔 프로그래밍을 활용해 결과 DRO 문제를 효율적으로 해결한다.
• 해의 성능을 기반으로 한 적합도 검정의 유의성과 일致성과 연결함으로써, 유한 샘플 및 점점 증가하는 행동에 대한 이론적 분석을 가능하게 한다.
• 유한 샘플에서 DRO 경계의 실용적 성능과 校정을 향상시키기 위해 부트스트래핑과 재표본 추출을 활용한다.

실험 결과

연구 질문

• RQ1 SAA의 점점 증가하는 수렴성과 해석 가능성은 유지하면서 강력한 유한 샘플 성능 보장을 제공하는 데이터 기반 최적화 방법을 설계할 수 있는가?
• RQ2 데이터 기반 DRO 설정의 성능을 적합도 검정의 통계적 성질과 체계적으로 연결할 수 있는가?
• RQ3 다양한 통계적 검정과 불확실성 집합 구성 방식이 최종 최적화 해의 강건성과 안정성에 미치는 영향은 무엇인가?
• RQ4 Robust SAA는 SAA, 2-SAA 및 기타 DRO 방법과 비교해 외부 샘플 성능과 해의 분산 측면에서 어떻게 다른가?
• RQ5 가설 검정 프레임워크를 활용해 실무에서 DRO 기반 의사결정 규칙의 校정과 신뢰성 향상을 도모할 수 있는가?

주요 결과

• Robust SAA는 확률 1−α 이상로 유한 샘플 성능 보장을 확보하여, 진정한 외부 샘플 비용이 높은 신뢰도로 경계됨을 보장한다.
• 재고 관리 및 포트폴리오 배분 문제에서 모든 테스트 샘플 크기에서 SAA 및 2-SAA보다 외부 샘플 비최적성 측면에서 뛰어난 성능을 보인다.
• Robust SAA 해는 다른 방법들보다 유의미하게 낮은 분산을 보이며, 포트폴리오 배분에서 더 높은 안정성과 거래 비용 리스크 감소를 나타낸다.
• LCX 검정 기반 DRO 경계는 모든 샘플 크기에서 진정한 분포를 포함할 가능성이 거의 1에 수렴하여, Delage & Ye (2010)의 방법보다 신뢰성 면에서 뛰어나다.
• 샘플 크기 증가에 따른 최적성 갭 감소 비용(데이터의 가격)은 재표본 추출 기반 방법으로 잘 근사되며, 부트스트래핑을 통한 성능 추정에 대한 타당성을 입증한다.
• 수치 실험 결과, Robust SAA는 전체 정보 최적해로 수렴하며 낮은 변동성을 유지함으로써, SAA와 DRO의 장점을 결합하면서도 그 주요 약점은 피하는 것으로 나타났다.