[논문 리뷰] Noisy-Input Entropy Search for Efficient Robust Bayesian Optimization

Lukas P. Fröhlich, Edgar D. Klenske외 3명|arXiv (Cornell University)|2020. 02. 07.

Gaussian Processes and Bayesian Inference참고 문헌 34인용 수 18

한 줄 요약

이 논문은 입력 불확실성을 고려하여 강건한 베이지안 최적화를 위한 정보 이론적 할당 함수인 Noisy-Input 엔트로피 서치(NES)를 소개한다. NES는 강건한 목적함수를 가우시안 프로세스로 모델링하여 입력 노이즈가 존재하는 상황에서도 넓고 안정적인 최적해를 신뢰성 있게 찾을 수 있도록 한다. NES는 강건한 최적해에 대한 정보 양을 최대화하며, 벤치마크 및 항공우주 과제에서 기존 방법들을 능가하여 추론 불만족도를 크게 낮춘다.

ABSTRACT

We consider the problem of robust optimization within the well-established Bayesian optimization (BO) framework. While BO is intrinsically robust to noisy evaluations of the objective function, standard approaches do not consider the case of uncertainty about the input parameters. In this paper, we propose Noisy-Input Entropy Search (NES), a novel information-theoretic acquisition function that is designed to find robust optima for problems with both input and measurement noise. NES is based on the key insight that the robust objective in many cases can be modeled as a Gaussian process, however, it cannot be observed directly. We evaluate NES on several benchmark problems from the optimization literature and from engineering. The results show that NES reliably finds robust optima, outperforming existing methods from the literature on all benchmarks.

연구 동기 및 목표

• 표준 베이지안 최적화가 입력 불확실성에 대응하지 못하는 한계를 해결하기 위해, 배포 시 발생할 수 있는 변동으로 인해 성능이 저하되는 상황을 다루는 것.
• 입력 노이즈 하에서 강건한 최적해에 대한 지식을 명시적으로 최대화하는 정보 이론적 할당 함수를 개발하는 것.
• 직접 관측할 수 없지만 노이즈 있는 함수 평가로부터 추론되어야 하는 잠재적 가우시안 프로세스로 강건한 목적함수를 모델링하는 것.
• 실제 응용에서 입력 파라미터가 배포 시 무작위 변동을 겪을 수 있는 환경에서 효율적이고 신뢰할 수 있는 최적화를 가능하게 하는 것.
• 편의적 또는 비정보 이론 기반의 강건한 BO 방법을 원칙적이고 샘플 효율적인 접근 방식으로 능가하도록 하는 것.

제안 방법

• 입력 변동 하에서의 목적값 기대치로 정의된 강건 최대값 $ g^* $ 에 대한 정보 수익을 최대화하는 할당 함수인 Noisy-Input 엔트로피 서치(NES)를 제안한다.
• 직접 관측할 수 없지만 강건 최적해에 조건을 붙여 예측 분포를 추론할 수 있도록, 강건 목적함수를 가우시안 프로세스(GP)로 모델링한다.
• 정보 수익의 효율적 계산을 가능하게 하기 위해 최대값 엔트로피 서치(MES)를 기반으로 한다.
• 관측할 수 없는 $ g^* $ 에 조건을 붙인 예측 분포를 계산하기 위해 두 가지 근사 방법을 개발한다: 거부 샘플링(한계에서 정확함)과 기대값 전파(계산 효율성 높음).
• 각 평가 후 우도 최대화를 통해 커널 하이퍼파rameter와 관측 노이즈를 추정하며, 길이 척도에 대해 로그정규 하이퍼프리오어를 사용해 수렴 안정성을 확보한다.
• 최적해가 무작위 입력 변동 하에서도 높게 유지되는 경우를 선호하는 확률적 강건성 공식을 도입하여 넓은 피크보다 좁은 피크를 우선시한다.

실험 결과

연구 질문

• RQ1 입력이 배포 시 무작위 변동을 겪을 경우, 정보 이론 기반 할당 함수를 설계하여 블랙박스 함수를 강건하게 최적화할 수 있는가?
• RQ2 강건 최대값이 직접 관측되지 않는 상황에서, 가우시안 프로세스의 예측 분포를 어떻게 강건 최대값에 조건화할 수 있는가?
• RQ3 강건 최적해에 대한 정보를 최대화하는 엔트로피 기반 할당 함수는 편의적 또는 비정보 이론 기반의 강건한 BO 방법보다 성능이 뛰어나게 되는가?
• RQ4 입력 차원 수와 노이즈 수준이 증가함에 따라 제안된 방법의 성능가 어떻게 변화하는가?
• RQ5 항공우주 과제와 같이 고위험 영향을 미치는 실제 공학 응용 분야에서 이 방법은 강건한 최적해를 안정적으로 찾을 수 있는가?

주요 결과

• NES는 모든 벤치마크 함수에서 표준 베이지안 최적화 및 기존의 강건 방법보다 일관되게 뛰어난 성능을 보이며, 더 빠른 수렴과 낮은 추론 불만족도를 달성한다.
• 3차원 하르트만 함수에서 $ m{ ext{Σ}}_x = 0.1^2 \mathbf{I} $ 조건 하에서, NES는 표준 BO 및 기타 강건 방법보다 유의미하게 낮은 추론 불만족도를 기록한다.
• 중력 보조 궤도 조정 과제에서, 15회의 평가 후 NES-EP는 표준 BO 대비 추론 불만족도를 거의 두 배수 정도 감소시켰다.
• NES의 성능은 1D, 2D, 3D 함수에 걸쳐 다양한 노이즈 수준과 목적함수 형태를 가진 다양한 유형의 벤치마크에서 뛰어난 안정성을 보였다.
• 기대값 전파 근사(NES-EP)는 정확도와 성능를 유지하면서도 거부 샘플링 대비 계산 효율성이 높은 대안을 제공한다.
• 표준 BO는 전역 최적해를 찾긴 하지만, 입력 변동에 민감하여 중력 보조 과제에서 추론 불만족도가 정체되는 것으로 나타나 강건한 설정에서는 실패한다.