[논문 리뷰] Bayesian Optimization for Multi-objective Optimization and Multi-point Search

Takashi Wada, Hideitsu Hino|arXiv (Cornell University)|2019. 05. 07.

Advanced Multi-Objective Optimization Algorithms참고 문헌 15인용 수 14

한 줄 요약

이 논문은 공동 할인 함수를 도입하여 다목적 최적화와 다점 탐색을 동시에 처리하는 비히어리식(non-heuristic) 베이지안 최적화 방법을 제안한다. 고차원 탐색 공간에서의 기울기 소실 문제를 해결하기 위해 계산적으로 효율적인 기울기 근사 기법을 활용하며, 단일 모드 테스트 함수에서는 히어리식 방법과 비교해 뛰어난 성능 또는 동등한 성능을 보이며, 다중 모드 문제에서는 국소 최적해에 취약한 것으로 나타났다.

ABSTRACT

Bayesian optimization is an effective method to efficiently optimize unknown objective functions with high evaluation costs. Traditional Bayesian optimization algorithms select one point per iteration for single objective function, whereas in recent years, Bayesian optimization for multi-objective optimization or multi-point search per iteration have been proposed. However, Bayesian optimization that can deal with them at the same time in non-heuristic way is not known at present. We propose a Bayesian optimization algorithm that can deal with multi-objective optimization and multi-point search at the same time. First, we define an acquisition function that considers both multi-objective and multi-point search problems. It is difficult to analytically maximize the acquisition function as the computational cost is prohibitive even when approximate calculations such as sampling approximation are performed; therefore, we propose an accurate and computationally efficient method for estimating gradient of the acquisition function, and develop an algorithm for Bayesian optimization with multi-objective and multi-point search. It is shown via numerical experiments that the performance of the proposed method is comparable or superior to those of heuristic methods.

연구 동기 및 목표

• 비히어리식 방식으로 다목적 최적화와 다점 탐색을 동시에 다룰 수 있는 베이지안 최적화 프레임워크를 개발하는 것.
• 다점 및 다목적 설정에서 할인 함수 최적화 시 계산 불가능성과 기울기 소실 문제를 해결하는 것.
• 다목적 간 상충 관계와 다중 점의 병렬 평가를 동시에 통합하는 할인 함수를 설계하는 것.
• 고차원에서의 영점 기울기 문제를 피하는 새로운 샘플링 기반 방법을 통해 할인 함수의 효율적이고 정확한 기울기 추정을 가능하게 하는 것.
• 기준 다목적 테스트 함수를 대상으로 제안된 방법의 탐색 효율성을 히어리식 접근 방식과 비교하여 실증적으로 검증하는 것.

제안 방법

• 이 방법은 다목적 최적화와 다점 탐색을 동시에 처리할 수 있도록 기대 히퍼볼륨 개선도(EHI)를 확장한 공동 할인 함수를 정의한다.
• 할인 함수는 q개의 후보 점에 걸쳐 다중 목표치의 공동 분포를 포함하는 다변수 적분으로 기술된다.
• 할인 함수의 기울기를 추정하기 위해, 재패arameterization 기법을 사용하여 입력 점에 대한 기대 개선도의 기울기를 계산하는 몬테카를로 기반 방법을 제안한다.
• 기울기 근사는 샘플링을 통해 계산되며, 경로 기반 도함수 접근을 통해 할인 함수의 직접 미분을 피함으로써 수치적 안정성을 확보한다.
• 할인 함수 최적화는 근사 기울기를 사용하는 쿼asi-뉴턴 방법을 통해 수행되어 고차원 입력 공간에서의 효율적 탐색을 가능하게 한다.
• 이 방법은 목표 함수의 확률적 모델로 가우시안 프로세스를 사용하여 구현된다.

실험 결과

연구 질문

• RQ1 다목적 최적화와 다점 탐색을 동시에 처리할 수 있는 비히어리식 베이지안 최적화 프레임워크를 설계할 수 있는가?
• RQ2 다목적 상충 관계와 다중 점의 병렬 평가를 동시에 모델링할 수 있도록 할인 함수를 어떻게 구성할 수 있는가?
• RQ3 고차원 탐색 공간에서 기울기 소실 문제를 겪지 않으면서 할인 함수의 기울기를 효과적으로 추정할 수 있는 계산 전략은 무엇인가?
• RQ4 히어리식 방법(예: EHI와 유전자 알고리즘을 조합한 방법)에 비해 제안된 방법의 탐색 효율성은 어떠한가?
• RQ5 이 방법은 다중 모드 목표 함수에 대해 얼마나 강건한가? 이러한 경우에 국소 최적해에 빠지지 않는가?

주요 결과

• 제안된 방법은 ZDT1 및 DTLZ2와 같은 단일 모드 테스트 함수에서 히어리식 방법과 비교해 뛰어난 또는 동등한 히퍼볼륨 수렴 성능을 보였으며, 특히 최적화 초기 단계에서 유의미한 성능 향상을 보였다.
• 다중 모드인 ZDT3 함수의 경우, 히어리식 방법보다 낮은 최종 히퍼볼륨으로 수렴하여 국소 최적해에 취약함을 시사했다.
• 탐색 점 수가 많을 경우(q=8), 제안된 방법은 ZDT3에서 히어리식 방법을 능가했으며, 이는 스케일이 증가함에 따라 탐색 능력 향상이 있음을 시사한다.
• 6차원(d_x=6, q=8)에서도 진짜 기울기와 추정 기울기 사이의 평균 각도가 0.30 라디안으로 매우 높은 정확도를 확보했다.
• 제안된 기울기 근사 방법은 기울기 소실 문제를 효과적으로 완화하여 고차원 탐색 공간에서 안정적인 최적화를 가능하게 했다.
• 이 방법은 계산 효율성과 확장성을 입증했으며, 6차원 입력 공간과 8개의 탐색 점(q=8)을 포함하는 최대 48차원의 입력 공간에서도 할인 함수 최적화를 성공적으로 수행했다.