[논문 리뷰] Bayesian optimisation under uncertain inputs

Rafael Oliveira, Lionel Ott외 1명|arXiv (Cornell University)|2019. 02. 21.

Advanced Bandit Algorithms Research인용 수 19

한 줄 요약

이 논문은 입력 위치를 확률 분포로 모델링하기 위해 커널 임bedding과 가우시안 프로세스를 사용하는 uGP-UCB라는 베이지안 최적화 알고리즘을 제안한다. 이 방법은 입력 불확실성 하에서 이론적 리그레트 경계를 제공하며, 노이즈 있는 실행 및 정렬 오류가 있는 시뮬레이션 및 실세계 시나리오에서 기존 방법보다 뛰어난 성능을 보인다.

ABSTRACT

Bayesian optimisation (BO) has been a successful approach to optimise functions which are expensive to evaluate and whose observations are noisy. Classical BO algorithms, however, do not account for errors about the location where observations are taken, which is a common issue in problems with physical components. In these cases, the estimation of the actual query location is also subject to uncertainty. In this context, we propose an upper confidence bound (UCB) algorithm for BO problems where both the outcome of a query and the true query location are uncertain. The algorithm employs a Gaussian process model that takes probability distributions as inputs. Theoretical results are provided for both the proposed algorithm and a conventional UCB approach within the uncertain-inputs setting. Finally, we evaluate each method's performance experimentally, comparing them to other input noise aware BO approaches on simulated scenarios involving synthetic and real data.

연구 동기 및 목표

• 실행 및 정렬 노이즈로 인해 쿼리 위치가 불확실한 베이지안 최적화 문제를 해결하기 위해.
• 입력 불확실성 하에서의 리그레트 분석을 위한 이론적 프레임워크를 개발하기 위해.
• 불확실한 입력을 가우시안 프로세스 프레임워크 내에서 확률 분포로 모델링하는 새로운 알고리즘 uGP-UCB를 제안하기 위해.
• 합성 및 실세계 데이터에서 기존의 입력 노이즈 인식 BO 방법과 uGP-UCB를 경험적으로 평가하기 위해.

제안 방법

• 확률 분포의 커널 임베딩을 사용하여 불확실한 입력을 위한 유효한 커널을 정의한다.
• 입력과 출력 관측치의 불확실성을 고려한 수정된 상한 신뢰도(UCB) 획득 함수를 적용한다.
• 가우시안 입력 분포에 대해 분석적으로 유도된 불확실한 입력 제곱 지수 커널을 사용하여 GP 공분산을 계산한다.
• 추정된 진짜 쿼리 위치 분포 $ P^L_t $ 와 실행 노이즈 $ P^E_{m{x}} $ 를 GP 모델에 통합하여 기대 함수 값을 예측한다.
• Pinsker의 부등식과 재생 커널 힐버트 공간 노름을 사용하여 불확실한 입력 하에서 uGP-UCB와 표준 IGP-UCB의 이론적 리그레트 경계를 유도한다.
• 입력 불확실성 하에서 기대 함수 값을 계산하기 위해 몬테카를로 샘플링과 커널 기반 기대값 근사법을 사용한다.

실험 결과

연구 질문

• RQ1 쿼리 위치의 입력 불확실성이 표준 베이지안 최적화 알고리즘의 성능에 미치는 영향은 무엇인가?
• RQ2 점 추정치가 아닌 분포형 입력을 다룰 수 있도록 GP 기반 획득 함수를 어떻게 적응시킬 수 있는가? 이는 노이즈가 많은 실행 환경에서의 강건성 향상에 기여하는가?
• RQ3 입력 불확실성 하에서의 베이지안 최적화에 대해 어떤 이론적 리그레트 경계를 설정할 수 있는가?
• RQ4 제안된 uGP-UCB 알고리즘이 기존의 입력 노이즈 인식 BO 방법과 비교하여 수렴성과 강건성 측면에서 어떻게 성능을 발휘하는가?
• RQ5 커널 임베딩을 통한 입력 불확실성 모델링이 최적화 효율성과 정확성에 어떤 영향을 미치는가?

주요 결과

• uGP-UCB 알고리즘은 합성 및 실세계 시나리오에서 불확실한 입력이 존재할 경우 표준 IGP-UCB 및 기타 입력 노이즈 인식 방법보다 낮은 리그레트를 달성한다.
• uGP-UCB와 IGP-UCB의 입력 불확실성 하에서의 이론적 리그레트 경계가 도출되었으며, 리그레트가 추정된 입력 분포와 진짜 입력 분포 간의 쿨백-라이블러 발산에 비례하여 증가함을 보여준다.
• 불확실한 입력 제곱 지수 커널은 가우시안 입력 분포에 대해 분석적 해를 제공하여 GP 모델 내에서 효율적인 계산을 가능하게 한다.
• 경험적 결과는 입력 불확실성이 높을 경우 uGP-UCB가 기준 방법보다 더 빠르게 수렴하고 더 뛰어난 최적화 성능을 보임을 보여준다.
• 특히 고차원 또는 노이즈가 많은 설정에서, 스위치드 트랜스폼이나 몬테카를로 통합을 사용하는 방법보다 성능이 뛰어나다.
• 이론적 분석은 입력 불확실성 하에서 기대 함수 값이 GP 노름과 입력 분포 간의 KL 발산에 의해 경계됨을 확인하여 안정성을 보장한다.