[논문 리뷰] Bayesian Algorithm Execution: Estimating Computable Properties of Black-box Functions Using Mutual Information

Willie Neiswanger, Ke Alexander Wang외 1명|arXiv (Cornell University)|2021. 04. 19.

Advanced Bandit Algorithms Research인용 수 4

한 줄 요약

이 논문은 제한된 함수 평가 예산 내에서 비용이 많이 드는 블랙박스 함수의 계산 가능한 성질을 추정하기 위한 프레임워크인 베이지안 알고리즘 실행(BAX)을 소개한다. InfoBAX는 함수 평가와 알고리즘 출력 간 상호정보량을 최대화하는 반복적 쿼리 선택 방법을 제안하여, 전체 알고리즘 실행에 비해 필요로 하는 쿼리 수를 최대 500배까지 줄인다.

ABSTRACT

In many real-world problems, we want to infer some property of an expensive black-box function $f$, given a budget of $T$ function evaluations. One example is budget constrained global optimization of $f$, for which Bayesian optimization is a popular method. Other properties of interest include local optima, level sets, integrals, or graph-structured information induced by $f$. Often, we can find an algorithm $\\mathcal{A}$ to compute the desired property, but it may require far more than $T$ queries to execute. Given such an $\\mathcal{A}$, and a prior distribution over $f$, we refer to the problem of inferring the output of $\\mathcal{A}$ using $T$ evaluations as Bayesian Algorithm Execution (BAX). To tackle this problem, we present a procedure, InfoBAX, that sequentially chooses queries that maximize mutual information with respect to the algorithm's output. Applying this to Dijkstra's algorithm, for instance, we infer shortest paths in synthetic and real-world graphs with black-box edge costs. Using evolution strategies, we yield variants of Bayesian optimization that target local, rather than global, optima. On these problems, InfoBAX uses up to 500 times fewer queries to $f$ than required by the original algorithm. Our method is closely connected to other Bayesian optimal experimental design procedures such as entropy search methods and optimal sensor placement using Gaussian processes.

연구 동기 및 목표

• 엄격한 평가 예산 내에서 비용이 많이 드는 블랙박스 함수의 계산 가능한 성질을 추정하는 데 도전하는 것.
• 글로벌/로컬 최적화, 레벨 세트, 적분, 그래프 성질 등 다양한 문제들을 단일 베이지안 추론 프레임워크로 통합하는 것.
• 알고리즘 $σ$를 수정하지 않고도 주어진 예산을 충족시키면서도 $σ$의 출력에 대한 정보를 최대화할 수 있도록 함수 평가를 적응적으로 선택하는 방법을 개발하는 것.
• 특히 노이즈가 있거나 비용이 많이 드는 평가 환경에서, 원래 알고리즘에 필요한 것보다 훨씬 적은 쿼리로도 알고리즘 출력을 정확하게 추론할 수 있도록 하는 것.

제안 방법

• InfoBAX는 함수 평가와 목표 알고리즘 $σ$의 출력 간 상호정보량(MI)을 최대화하는 순차적 쿼리 선택을 사용한다.
• 새로운 평가 지점 $x$에서 알고리즘 출력 $O_{σ}$에 대한 기대 정보 수확량(EIG)을 확보 함수로 설정하며, 사후 엔트로피 감소를 기준으로 한다.
• 후행 기반 가우시안 프로세스(GP) 모델에서 몬테카를로 샘플링을 통해 알고리즘 $σ$를 다수의 함수 샘플에 대해 시뮬레이션함으로써, 닫힌 표현식이 없더라도 MI를 추정할 수 있도록 한다.
• 세 가지 유형의 EIG 목적함수를 제안한다: $σ_{t}^{e}(x)$ (실행 경로), $σ_{t}(x)$ (출력), $σ_{t}^{v}(x)$ (값 기반), 각각 알고리즘 불확실성의 다른 측면을 반영한다.
• 이 방법은 베이지안 최적 실험 설계에 기반하며, 엔트로피 검색과 최적 센서 배치를 알고리즘 출력으로 확장한다.
• 함수 평가에 노이즈가 존재하는 경우를 지원하기 위해 $f$를 가우시안 프로세스로 모델링하고, 알고리즘 $σ$를 통해 불확실성을 전파한다.

실험 결과

연구 질문

• RQ1 알고리즘 $σ$가 필요로 하는 $T$번의 함수 평가보다 훨씬 적은 평가 횟수로 블랙박스 함수 $f$에 대해 계산 가능한 알고리즘 $σ$의 출력을 추정할 수 있는가?
• RQ2 함수 값에 대한 정보가 아니라 알고리즘 출력에 대한 정보 수확량을 최대화하는 쿼리 선택 전략은 어떻게 설계할 수 있는가?
• RQ3 일반적인 목적의 알고리즘 $σ$에 대해 함수 평가와 출력 간 상호정보량의 효과적인 근사치는 무엇인가?
• RQ4 알고리즘 성질 추정에서 랜덤 서치와 불확실성 샘플링과 같은 표준 베이스라인과 비교해 InfoBAX는 수렴 속도와 정확도 측면에서 어떻게 성능을 내는가?
• RQ5 이 방법은 최상위-$k$ 선택, 최단 경로 계산, 국소 최적화와 같은 다양한 알고리즘 작업에 적용될 수 있는가?

주요 결과

• InfoBAX는 시뮬레이션 및 실제 그래프 문제에서 전체 알고리즘 $σ$를 실행하는 것에 비해 필요로 하는 함수 평가 횟수를 최대 500배까지 줄였다.
• 알고리즘 출력 값에 대한 정보를 최대화하는 $σ_{t}^{v}(x)$를 사용한 InfoBAX의 변종이 최상위-$k$ 추정 실험에서 진짜 최상위-$k$ 집합에 가장 빨리 수렴하는 결과를 보였다.
• 최상위-$k$ 추정 작업에서 InfoBAX는 $σ_{t}^{v}(x)$와 $σ_{t}(x)$를 사용하여 70회의 평가 후 재현율 거리(Jaccard distance)가 0.1 이하로 떨어졌으며, 이는 UncertaintySampling과 RandomSearch를 능가하는 성능이었다.
• Dijkstra의 알고리즘을 사용하여 블랙박스 엣지 비용을 가진 그래프에서 최단 경로를 성공적으로 추론함으로써, 이 방법이 그래프 구조 성질에 적용 가능함을 입증했다.
• InfoBAX는 참값인 최상위-$k$ 요소(금색 별표)와 알고리즘의 실행 경로(연한 회색 점)에 쿼리를 집중시했지만, UncertaintySampling과 같은 베이스라인은 전체 함수 공간의 높은 불확실성 영역을 타겟으로 삼았다.
• 이 방법은 원래 알고리즘 $σ$를 수정하지 않고도 국소 최적화(진화 전략을 통한) 및 레벨 세트 추정과 같은 다양한 알고리즘 작업으로 일반화되었으며, 이는 알고리즘의 유연성과 적용 범위를 보여준다.