[논문 리뷰] A New Knowledge Gradient-based Method for Constrained Bayesian Optimization

Wenjie Chen, Shengcai Liu외 1명|arXiv (Cornell University)|2021. 01. 20.

Advanced Multi-Objective Optimization Algorithms참고 문헌 33인용 수 6

한 줄 요약

이 논문은 비용이 많이 들고 노이즈가 있는 검은 상자 목적 함수 및 제약 조건 함수를 다룰 수 있도록 지식 기반 기반 최적화 프레임워크를 확장한 새로운 제약 조건이 있는 베이지안 최적화 방법 c-KG를 제안한다. 최적성과 타당성 사이의 균형을 맞추기 위해 새로운 획득 함수를 도입하고, IPA 및 LR을 통한 비편향된 기울기 추정기를 사용함으로써, 불확실성 하에서 제약 조건이 있는 최적화를 위한 효율적인 배치 샘플링을 가능하게 한다.

ABSTRACT

Black-box problems are common in real life like structural design, drug experiments, and machine learning. When optimizing black-box systems, decision-makers always consider multiple performances and give the final decision by comprehensive evaluations. Motivated by such practical needs, we focus on constrained black-box problems where the objective and constraints lack known special structure, and evaluations are expensive and even with noise. We develop a novel constrained Bayesian optimization approach based on the knowledge gradient method ($c- m{KG}$). A new acquisition function is proposed to determine the next batch of samples considering optimality and feasibility. An unbiased estimator of the gradient of the new acquisition function is derived to implement the $c- m{KG}$ approach.

연구 동기 및 목표

• 비용이 많이 들고 노이즈가 있는 평가를 수행하는 검은 상자 시스템에서 다수의 성능 지표와 확률적 제약 조건을 동시에 고려한 최적화 과제를 해결한다.
• 제약 조건이 있는 베이지안 최적화에서 타당성과 최적성을 통합한 새로운 획득 함수를 개발하여 지식 기반 기반 방법을 노이즈가 있는 제약 조건을 다룰 수 있도록 확장한다.
• c-KG 획득 함수에 대한 내부 최적화 문제를 설정함으로써, 제약 조건이 있는 최적화를 위한 효율적인 배치 샘플링을 가능하게 한다.
• 무작위 최적화를 지원하기 위해, 인피니티미널 펌터베이션 분석(IPA)과 우도 비율(LR) 방법의 융합을 통한 c-KG 획득 함수의 비편향된 기울기 추정기를 제공한다.
• 약물 발견, 재료 설계, 불확실성 하에서의 시뮬레이션 기반 시스템 최적화와 같은 실제 적용 분야에서 수렴성과 타당성을 향상시킨다.

제안 방법

• 목적 함수와 제약 조건 함수의 확률적 특성을 반영하기 위해, 타당성 확률과 기대 향상도를 통합한 새로운 획득 함수 c-KG를 제안한다.
• 미래 관측치를 조건으로 하여 최적 목적 함수 값의 기대 향상도로 획득 함수를 정의하며, 제약 조건 이행 여부를 고려한다.
• IPA와 LR 방법의 융합을 통해 c-KG의 비편향된 기울기 추정기를 유도하여, 배치 선택을 위한 무작위 기울기 상승 최적화를 가능하게 한다.
• c-KG를 최대화하기 위한 내부 최적화 문제를 해결하기 위해 다중 시작 기반의 무작위 기울기 상승 알고리즘을 사용한다.
• 관측된 데이터를 바탕으로 목적 함수 및 제약 조건 함수에 대해 가우시안 프로세스 사전 분포를 통합하고, 순차적으로 사후 분포를 갱신한다.
• 각 반복에서 GP 사후 평균에 기반한 비선형 제약 최적화를 통해 가장 우수한 타당해를 추정하는 프레임워크를 구현한다.

실험 결과

연구 질문

• RQ1 비용이 많이 들고 노이즈가 있는 평가를 수행하는 검은 상자 최적화에서, 지식 기반 원리가 확률적 제약 조건을 효과적으로 다룰 수 있는가?
• RQ2 제약 조건이 있는 베이지안 최적화에서 최적성과 타당성을 동시에 균형 잡는 획득 함수는 어떻게 설계할 수 있는가?
• RQ3 지표 함수와 가우시안 프로세스 사후 분포를 포함한 복잡한 획득 함수의 기울기를 효율적이고 비편향적으로 추정하는 방법은 무엇인가?
• RQ4 노이즈가 있는 조건에서 기존의 제약 조건이 있는 베이지안 최적화 방법과 비교해, 제안된 c-KG 방법은 수렴성과 타당성 측면에서 어떻게 성능을 발휘하는가?
• RQ5 목적 함수와 제약 조건의 불확실성을 모두 고려할 수 있는 다루기 쉬운 미분 가능한 획득 함수를 통해 배치 샘플링은 실제로 효과적으로 가능할 수 있는가?

주요 결과

• 제안된 c-KG 획득 함수는 타당성과 최적성을 하나의 다루기 쉬운 목적 함수로 통합하여, 제약 조건이 있는 탐색 공간의 효과적인 탐색을 가능하게 한다.
• 하이브리드 IPA-LR 기울기 추정기는 c-KG 기울기의 비편향된 추정을 제공하여 획득 함수의 신뢰할 수 있는 무작위 최적화를 가능하게 한다.
• 노이즈가 있는 평가와 알려지지 않은 기능적 구조를 가진 환경에서, 제약 조건이 있는 최적화 과제에서 수렴성과 타당성이 향상됨을 입증하였다.
• 실험 결과에 따르면, c-KG는 특히 다중 제약 조건 및 고노이즈 환경에서 기존 기준 방법보다 더 적은 함수 평가 수로 타당성 있고 고성능의 해를 찾는 데에 뛰어난 성능을 보였다.
• 알고리즘 프레임워크는 배치 샘플링을 지원하여 다수의 후보를 동시에 평가할 수 있으며, 이는 비용이 많이 드는 실제 응용 분야에서 매우 중요하다.
• 이론적 분석을 통해 기울기 추정기가 온건한 정규성 가정 하에 비편향성과 수렴성 조건을 만족함을 확인하였다.