[논문 리뷰] The Empirical Likelihood Approach to Quantifying Uncertainty in Sample Average Approximation

Henry Lam, Enlu Zhou|arXiv (Cornell University)|2016. 04. 09.

Risk and Portfolio Optimization참고 문헌 13인용 수 4

한 줄 요약

이 논문은 제한된 데이터 하에서 확률적 최적화 문제에서 최적 값과 최적성 갭에 대한 타당한 신뢰구간(CI)을 구축하기 위해 경험우도(EL) 방법을 제안한다. 이는 카이제곱 분위수를 통해 校정된 버그-엔트로피 발산 구역을 사용하는 분포로 내성적인 최적화(DRO)를 활용한다. 이 방법은 渐近적으로 타당한 커버리지 성능을 보이며, 특히 소규모 데이터 환경에서 전통적인 중심극한정리(CLT) 기반 방법보다 뛰어난 성능을 보인다.

ABSTRACT

We study the empirical likelihood approach to construct confidence intervals for the optimal value and the optimality gap of a given solution, henceforth quantify the statistical uncertainty of sample average approximation, for optimization problems with expected value objectives and constraints where the underlying probability distributions are observed via limited data. This approach relies on two distributionally robust optimization problems posited over the uncertain distribution, with a divergence-based uncertainty set that is suitably calibrated to provide asymptotic statistical guarantees.

연구 동기 및 목표

• 제한된 데이터만 존재할 때 표본 평균 근사(SAA)의 통계적 불확실성을 정량화하는 데 도전하는 것.
• 진정한 최적 값과 주어진 해의 최적성 갭에 대한 신뢰구간(CI)을 구성하기 위한 엄밀하고 분포에 종속되지 않는 방법을 개발하는 것.
• 정규성 가정이나 대표 표본 근사에 의존하지 않고도 CI의 渐近적 커버리지 보장을 확보하는 것.
• 경험우도(EL) 방법의 유한 표본 성능을 전통적 방법(예: 중심극한정리[CLT] 및 델타 방법)과 비교하는 것.
• 스토케스틱 제약과 결정론적 제약이 모두 존재하는 문제로 이 프레임워크를 확장하는 것.

제안 방법

• 경험우도 기반의 분포로 내성적인 최적화(DRO)와 유사한 두 개의 최적화 문제로 신뢰구간 경계의 구축을 공식화하며, 경험측도를 중심으로 한 버그-엔트로피 발산 구역을 사용한다.
• 차수 $ p $ 는 결정 변수의 차원이고, $ \beta $ 는 유의수준일 때, 발산 구역의 크기를 카이제곱 분위수 $ \chi^{2}_{p+1,\beta} $ 를 사용하여 校정한다.
• 두 개의 최적화 문제를 해결한다: 하나는 발산 제약 조건으로 정의된 경험우도 불확실성 집합 위에서 SAA 목표함수를 최대화하고, 다른 하나는 최소화한다.
• 이 두 문제의 최적값을 진정한 최적 값에 대한 신뢰구간의 상한과 하한으로 사용한다.
• 최적성 갭에 대한 확장은 갭 함수에 동일한 EL 기반 DRO 공식을 적용함으로써 이루어진다.
• 경험우도 원리를 활용하여 미약한 정규성 조건 하에서 커버리지 확률의 渐近적 타당성을 보장한다.

실험 결과

연구 질문

• RQ1 경험우도는 제한된 데이터를 가진 확률적 프로그램에서 최적 값에 대한 신뢰구간을 구축하는 데 사용될 수 있는가?
• RQ2 EL 기반 방법은 어떤 유한 표본 커버리지와 구간 너비 측면에서 전통적인 CLT 기반 방법과 비교해 볼 때 어떻게 성능을 보이는가?
• RQ3 EL 접근법은 주어진 해의 최적성 갭에 대한 불확실성을 정량화하는 데 확장될 수 있는가?
• RQ4 이 맥락에서 EL을 통해 구축된 신뢰구간의 渐近적 타당성에 대한 이론적 근거는 무엇인가?
• RQ5 기존 방법과 비교해 볼 때, 이 방법은 고차원 또는 소표본 설정에서 어떻게 성능을 보이는가?

주요 결과

• 경험우도 방법은 특히 작은 표본 크기(예: n=10)에서 CLT 기반 방법보다 더 높은 커버리지 확률을 달성한다. 이 경우 CLT 방법은 자주 커버리지가 부족하다.
• 포트폴리오 최적화 문제에서, EL 방법은 n=100일 때 커버리지 확률 0.74를 기록했으며, CLT는 0.59, 2표본 CLT는 0.64였다.
• 최적 값에 대한 EL 기반 신뢰구간은 더 넓은 간격을 유지하면서도 2표본 CLT 방법보다 더 높은 커버리지 성능를 보이며, 이는 더 높은 효율성을 의미한다.
• 최적성 갭 추정에서 EL은 n=100일 때 92%의 커버리지 성능를 기록했으며, SRP 방법(59% 커버리지)을 능가했지만, 간격은 더 넓었다.
• 표본 크기가 증가함에 따라 커버리지 확률이 향상되어, 이는 방법의 渐近적 타당성을 확인한다.
• 이 방법은 고차원 문제에서도 강건하게 유지되며, 수렴 속도는 느리지만 더 많은 데이터가 필요로 한다.