[논문 리뷰] Distributionally Robust Bayesian Quadrature Optimization

Thanh Nguyen-Tang, Sunil Gupta외 3명|arXiv (Cornell University)|2020. 01. 19.

Advanced Bandit Algorithms Research참고 문헌 19인용 수 6

한 줄 요약

이 논문은 분포 불확실성 문제를 다루기 위해 분포로 불확실성에 견고한 베이지안 적분 최적화(DRBQO)를 제안한다. 이 알고리즘은 χ² 구 내에서 가장 악성인 분포에 대한 기대 목적함수를 최대화함으로써, 표본 수가 적은 조건에서도 우수한 성능을 보인다. DRBQO는 하위선형 베이지안 리그레트를 달성하며, 합성 및 실제 하이퍼파rameter 튜닝 작업에서 표준 BQO 및 MTBO 기준선보다 뛰어나다.

ABSTRACT

Bayesian quadrature optimization (BQO) maximizes the expectation of an expensive black-box integrand taken over a known probability distribution. In this work, we study BQO under distributional uncertainty in which the underlying probability distribution is unknown except for a limited set of its i.i.d. samples. A standard BQO approach maximizes the Monte Carlo estimate of the true expected objective given the fixed sample set. Though Monte Carlo estimate is unbiased, it has high variance given a small set of samples; thus can result in a spurious objective function. We adopt the distributionally robust optimization perspective to this problem by maximizing the expected objective under the most adversarial distribution. In particular, we propose a novel posterior sampling based algorithm, namely distributionally robust BQO (DRBQO) for this purpose. We demonstrate the empirical effectiveness of our proposed framework in synthetic and real-world problems, and characterize its theoretical convergence via Bayesian regret.

연구 동기 및 목표

• 작은 표본 크기로 인한 분포 불확실성으로 인해 표준 베이지안 적분 최적화(BQO)의 성능에 제한이 발생하는 문제를 해결하기 위해.
• 제한된 i.i.d. 표본만 제공되는 상황에서 기저의 맥락 분포 P₀의 불확실성을 고려한 견고한 최적화 프레임워크를 개발하기 위해.
• 분포 불확실성 환경에서의 견고성 평가를 위한 새로운 성능 지표인 ρ-리그레트를 도입하기 위해.
• 하위선형 베이지안 리그레트를 통한 제안된 알고리즘의 수렴 특성을 이론적으로 규명하기 위해.
• 합성 및 실제 하이퍼파rameter 튜닝 문제, 특히 MNIST 기반 모델 최적화를 포함한 실험을 통해 DRBQO의 효과성을 실증적으로 검증하기 위해.

제안 방법

• 진정한 분포 P₀가 유한한 표본 집합 Sₙ을 통해만 알려진 상황에서, 분포 불확실성 하에서 목적함수의 기대값을 최대화하는 문제로 문제를 수립한다.
• 각 반복 단계에서 서브스티튜션 분포로 불확실성에 견고한 최적화 문제를 해결하는 후행 샘플링 기반 알고리즘인 DRBQO를 제안한다.
• χ² 발산 구를 사용하여 악성 분포 집합을 정의함으로써, 경험 분포에 대한 최악의 변형에 대한 견고성을 확보한다.
• 각 단계에서 악성 분포에 대한 내부 최적화 문제를 효율적으로 해결하기 위해 이분법 검색을 활용한다.
• 블랙박스 함수 f(x,w)에 대해 가우시안 프로세스(GP) 모델을 사용하고, 분포 불확실성에 대한 최악의 기대값을 고려한 서브스티튜션 목적함수를 구성한다.
• f의 GP 모델을 분포로 불확실성 프레임워크와 통합하여, 목적함수 g(x)의 견고한 추정치를 도출한다.

실험 결과

연구 질문

• RQ1 맥락 분포 P₀의 분포 불확실성이 표준 베이지안 적분 최적화(BQO)의 성능에 미치는 영향은 어떠한가?
• RQ2 후행 샘플링 기반 접근법이 분포 변화에 대한 불확실성 하에서 베이지안 적분 최적화에서 견고한 해를 효과적으로 찾을 수 있는가?
• RQ3 분포로 불확실성에 견고한 BQO 알고리즘의 이론적 수렴 행동은 어떠한가? 하위선형 베이지안 리그레트를 달성할 수 있는가?
• RQ4 제한된 검증 데이터를 가진 실제 하이퍼파rameter 튜닝 작업에서 DRBQO는 표준 BQO 및 MTBO와 비교해 어떻게 성능을 내는가?
• RQ5 DRBQO는 ρ 매개변수를 통해 얼마나 견고성을 제어할 수 있으며, 이는 소규모 표본 문제에서 성능에 어떤 영향을 미치는가?

주요 결과

• DRBQO는 하위선형 베이지안 리그레트를 달성하여, 분포 불확실성 하에서도 이론적으로 수렴함을 보였다.
• MNIST 하이퍼파rameter 튜닝 실험에서, ρ=5로 설정한 DRBQO는 CNN에서 테스트 오차 1.321±0.061%를 기록하여 BQO-TS 기준선(1.869±0.232%)과 MTBO(1.712±0.263%)를 모두 앞섰다.
• ElasticNet의 경우, ρ=5로 설정한 DRBQO는 테스트 오차 8.380±0.022%를 기록하여 BQO-TS 기준선(8.625±0.116%)과 MTBO(8.576±0.080%)보다 유의미하게 낮았다.
• 모든 ρ 값에서 DRBQO는 BQO-EI와 BQO-TS를 일관되게 앞서며, 특히 높은 ρ 값(예: ρ=5)에서 최고의 성능를 기록함으로써 더 높은 견고성을 보였다.
• 알고리즘은 소규모 표본 조건에서 몬테카를로 추정치의 높은 분산을 효과적으로 완화하여, 표준 BQO에서 흔히 발생하는 허위 최적해를 방지했다.
• 실증 결과에 따르면, DRBQO는 교차검증 폴드 성능가 변동이 심한 경우에도 더 견고한 하이퍼파rameter 설정을 제공한다.