[논문 리뷰] Bayesian Optimization of Risk Measures

Sait Cakmak, Raul Astudillo외 2명|arXiv (Cornell University)|2020. 07. 10.

Gaussian Processes and Bayesian Inference참고 문헌 18인용 수 5

한 줄 요약

이 논문은 블랙박스 함수 $F(x,W)$를 직접 가우시안 프로세스로 모델링함으로써, 쿼리 시 결정 변수 $x$와 환경 변수 $w$를 동시에 선택할 수 있도록 하는 새로운 베이지안 최적화 프레임워크를 제안한다. 이는 VaR(Value-at-Risk)와 CVaR(Conditional Value-at-Risk)와 같은 위험 측도를 최소화하기 위한 것이다. 제안된 방법은 개별 $F(x,w)$ 평가에서 제공하는 세밀한 정보를 활용함으로써 기존 최첨단 기법보다 훨씬 높은 샘플링 효율성을 달성한다. 수치 실험에서 제안된 획득 함수 $\rho\textnormal{KG}$와 $\rho\textnormal{KG}^{apx}$는 벤치마크를 능가한다.

ABSTRACT

We consider Bayesian optimization of objective functions of the form $ρ[ F(x, W) ]$, where $F$ is a black-box expensive-to-evaluate function and $ρ$ denotes either the VaR or CVaR risk measure, computed with respect to the randomness induced by the environmental random variable $W$. Such problems arise in decision making under uncertainty, such as in portfolio optimization and robust systems design. We propose a family of novel Bayesian optimization algorithms that exploit the structure of the objective function to substantially improve sampling efficiency. Instead of modeling the objective function directly as is typical in Bayesian optimization, these algorithms model $F$ as a Gaussian process, and use the implied posterior on the objective function to decide which points to evaluate. We demonstrate the effectiveness of our approach in a variety of numerical experiments.

연구 동기 및 목표

• 목적 함수 $F(x,W)$가 평가 비용이 많이 들고 도함수를 가지지 못할 때 VaR 및 CVaR와 같은 위험 측도를 최적화하는 데 도전하는 것.
• 표준 베이지안 최적화가 $\rho[F(x,W)]$를 블랙박스로 간주하여 쿼리당 많은 평가가 필요로 하는 비효율성을 해결하는 것.
• 평가 시점에 $x$와 $w$를 동시에 선택할 수 있는 방법을 개발하여 시뮬레이션 오라클을 활용해 쿼리 효율성을 향상시키는 것.
• 기울기 기반 방법을 통해 최적화 가능한 원칙적인 획득 함수인 $\rho\textnormal{KG}$와 $\rho\textnormal{KG}^{apx}$를 설계하는 것.
• 이중 시간 척도 접근법을 통해 중첩 최적화를 포함하는 획득 함수의 효율적 최적화를 가능하게 하는 것.

제안 방법

• $F(x,W)$를 가우시안 프로세스(GP)로 모델링하여 $x$와 $w$에 대한 불확실성을 직접 포착하며, $\rho[F(x,W)]$를 직접 모델링하지는 않는다.
• GP 사후분포를 사용하여 $W$의 랜덤성에 따른 $F(x,W)$의 VaR 및 CVaR를 추정함으로써 위험 측도에 대한 불확실성 정량화를 가능하게 한다.
• $\rho\textnormal{KG}$를 제안하며, 이는 GP 사후 예측 분포에서 유도된 한 단계 Bayes 최적 획득 함수로, 위험 측도의 기대 개선도를 최대화한다.
• $\rho\textnormal{KG}^{apx}$를 도입하여 $\rho\textnormal{KG}$의 계산 비용을 줄이면서도 높은 성능을 유지하는 효율적인 근사치를 제공한다.
• $\rho\textnormal{KG}$ 및 $\rho\textnormal{KG}^{apx}$의 기울기 추정기법을 사용하며, 이는 渐近적으로 비편향이면서 일致성이 있어 기울기 기반 방법을 통한 효율적 최적화를 가능하게 한다.
• 내부 최적화 문제를 수반하는 획득 함수의 안정적이고 효율적인 최적화를 향상시키기 위해 이중 시간 척도 최적화 기법을 적용한다.

실험 결과

연구 질문

• RQ1 함수 평가 중 $x$와 $w$를 동시에 선택하는 것이 위험 측도 최적화의 샘플링 효율성을 크게 향상시킬 수 있는가?
• RQ2 목적 함수 $F(x,W)$가 블랙박스이자 평가 비용이 많이 들 경우, VaR 및 CVaR와 같은 위험 측도를 효율적으로 추정하고 최적화할 수 있는가?
• RQ3 위험 회피적 베이지안 최적화에서 한 단계 Bayes 최적성을 확보하면서도 계산 가능성이 유지되는 획득 함수 설계는 무엇인가?
• RQ4 내부 $w$에 대한 기대값을 포함하는 획득 함수에 기울기 기반 최적화를 적용하는 방법은 무엇인가?
• RQ5 $\rho[F(x,W)]$를 직접 모델링하는 것보다 $F(x,w)$를 직접 GP로 모델링하는 것이 수렴 속도와 해의 품질 측면에서 더 우수한가?

주요 결과

• 제안된 $\rho\textnormal{KG}^{apx}$ 획득 함수는 수치 실험에서 최첨단 베이지안 최적화 기법보다 뚜렷이 높은 샘플링 효율성을 확보한다.
• 특히 $F$ 평가가 비용이 많이 들고 위험 측도를 정확히 추정하기 위해 많은 샘플이 필요한 경우, 표준 BO보다 성능이 뛰어나다.
• $\rho$-랜덤 기반 방법은 $x$와 $w$를 무작위로 선택하지만 전체 GP 모델을 사용함으로써 표준 BO를 능가하며, 제안된 통계 모델의 가치를 입증한다.
• 이중 시간 척도 최적화 기법은 내부 최적화 문제를 포함하는 획득 함수의 안정적이고 효율적인 최적화를 가능하게 하여 계산 확장성을 향상시킨다.
• 브라인 및 $f_6$과 같은 벤치마크 함수에 대한 수치 실험에서, 함수 평가에 몇 분이 걸리는 경우에도 제안된 알고리즘이 상당한 시간 절감을 이룬다.
• 이 프레임워크는 금융, 헬스케어, 재난 관리와 같은 고위험 분야에서 위험 회피적 의사결정을 가능하게 하며, 견고하고 시뮬레이션 기반의 권고를 제공한다.