[논문 리뷰] Joint Entropy Search for Maximally-Informed Bayesian Optimization

Carl Hvarfner, Frank Hutter외 1명|arXiv (Cornell University)|2022. 06. 09.

Advanced Bandit Algorithms Research인용 수 7

한 줄 요약

이 논문은 베이지안 최적화를 위한 정보이론적 신규 수집 함수인 공동 엔트로피 탐색(Joint Entropy Search, JES)을 소개한다. JES는 가짜 최적 쌍에서의 엔트로피 감소를 활용하여 최적 입력과 최적 출력에 대한 불확실성을 동시에 모델링한다. 복잡한 근사 기법을 피하고 표준 가우시안 프로세스 기반 기법을 활용함으로써, JES는 복잡한 계산 부담 없이 MES, PES, EI와 비교해도 최상의 성능을 달성한다.

ABSTRACT

Information-theoretic Bayesian optimization techniques have become popular for optimizing expensive-to-evaluate black-box functions due to their non-myopic qualities. Entropy Search and Predictive Entropy Search both consider the entropy over the optimum in the input space, while the recent Max-value Entropy Search considers the entropy over the optimal value in the output space. We propose Joint Entropy Search (JES), a novel information-theoretic acquisition function that considers an entirely new quantity, namely the entropy over the joint optimal probability density over both input and output space. To incorporate this information, we consider the reduction in entropy from conditioning on fantasized optimal input/output pairs. The resulting approach primarily relies on standard GP machinery and removes complex approximations typically associated with information-theoretic methods. With minimal computational overhead, JES shows superior decision-making, and yields state-of-the-art performance for information-theoretic approaches across a wide suite of tasks. As a light-weight approach with superior results, JES provides a new go-to acquisition function for Bayesian optimization.

연구 동기 및 목표

• 기존의 정보이론적 베이지안 최적화 방법의 한계를 해결하기 위해, 복잡한 근사 기법에 의존하거나 노이즈 또는 목적 함수의 구조에 대해 제한적인 가정을 하는 것을 방지한다.
• 입력 공간과 출력 공간에 대한 공동 불확실성을 포괄적으로 모델링하는 정보이론적 수집 함수를 개발하여, 이를 별도로 다루는 것과는 대비된다.
• 최적 위치와 그 진짜 최적 값의 정보를 통합함으로써 결정 부문의 향상을 도모하고, 정보 획득 추정의 정확도를 높인다.
• 엔트로피 탐색과 예측 엔트로피 탐색의 비현실적인 계산 비용을 줄이되, 비미래적(non-myopic) 정보이론적 이점을 유지하는 계산 효율적인 대안을 제공한다.
• 노이즈가 많고 고차원적인 블랙박스 최적화에 적합한 강력하고 가벼우며 높은 성능을 보이는 수집 함수를 제공한다.

제안 방법

• JES는 최적 입력과 최적 출력 쌍에 대한 공동 확률 밀도의 엔트로피에 기반한 새로운 수집 함수를 도입한다.
• 가짜 최적 입력-출력 쌍에 조건을 붙여 기대 정보 획득을 계산하며, 이를 통해 공동 엔트로피의 감소를 측정한다.
• 엔트로피 탐색과 예측 엔트로피 탐색에서 흔히 사용되는 복잡한 몬테카를로 근사 기법을 피하기 위해 표준 가우시안 프로세스 추론을 활용한다.
• 최적 관측치를 입력과 출력의 공동 분포로 모델링함으로써 더 정확하고 정보가 풍부한 쿼리를 가능하게 한다.
• 가짜 최적 쌍에서의 조건부 엔트로피 감소를 이용해 수집 함수를 유도하며, 이들은 사후 예측 분포에서 샘플링된다.
• 이 방법은 계산 효율성을 위해 표준 GP 연산에만 의존하며, 최소한의 사전 계산이 필요하다.

실험 결과

연구 질문

• RQ1 베이지안 최적화에서 입력과 출력의 불확실성을 함께 모델링하면, 별도로 다루는 것보다 더 나은 정보 획득 추정이 가능할까?
• RQ2 복잡한 근사 기법 없이도 완전히 비미래적 정보이론적 수집 함수를 계산적으로 효율적으로 만들 수 있을까?
• RQ3 최적 입력과 노이즈 없는 최적 값의 정보를 함께 통합하면 블랙박스 최적화의 의사결정과 수렴 속도가 향상될까?
• RQ4 제안된 공동 엔트로피 기반 수집 함수는 MES, PES, EI와 같은 기존 최상위 수준의 방법들과 비교해 샘플 효율성과 성능 면에서 어떻게 다른가?
• RQ5 이전 방법들이 잘못된 사후 가정으로 인해 실패할 수 있는 고노이즈 환경에서도 이 방법은 강건하고 효과적으로 유지될 수 있을까?

주요 결과

• JES는 다양한 벤치마크 작업, 특히 하이퍼파rameter 튜닝과 로봇 공학 분야에서 정보이론적 베이지안 최적화 방법 중 최상의 성능을 달성한다.
• MLP 하이퍼파rameter 튜닝 작업을 위한 HPOBench 벤치마크에서, JES는 모든 6개의 작업에서 MES를 능가하고, EI와 동등하거나 이를 초월하며, 초기 반복 단계에서 더 나은 의사결정 능력을 보였다.
• 노이즈가 많은 환경에서 JES는 PES를 크게 능가하고, 수렴 속도와 최종 해의 질에서 EI와 동등하거나 이를 초월한다.
• 기타 정보이론적 접근에 비해 JES는 계산 부담이 극히 적으며, 주로 표준 GP 기반 기법에 의존하고 복잡한 근사 기법이 필요로 하지 않는다.
• 제안된 γ-exploit 전략과 결합할 경우, JES는 모델 잘못 설정에 대해 강건성을 보이며, 잘못된 모델 가정을 탐지하고 적응할 수 있다.
• 노이즈가 없는 환경에서는 작은 노이즈 항목을 추가함으로써 JES를 안정화시킬 수 있으며, 이는 표준 GP 프레임워크에서 일반적으로 제공되는 요소이므로 널리 적용 가능하다.