[논문 리뷰] Global optimization via inverse distance weighting.

Alberto Bemporad|arXiv (Cornell University)|2019. 06. 15.

Advanced Multi-Objective Optimization Algorithms인용 수 4

한 줄 요약

이 논문은 전역 최적화를 위한 계산적으로 효율적인 알고리즘을 제안하며, 역거리 가중치(IDW)와 라디얼 기저 함수(RBF)를 조합하여 서rogate 모델을 구축하고 탐색 샘플링을 이끌어낸다. 이 알고리즘은 벤치마크 문제에서 베이지안 최적화와 비교해도 성능이 유사하거나 뛰어나며, 단순한 제약 조건을 지원하고, 오픈소스 MATLAB/파이썬 구현이 제공된다.

ABSTRACT

Global optimization problems whose objective function is expensive to evaluate can be solved effectively by recursively fitting a surrogate function to function samples and minimizing an acquisition function to generate new samples. The acquisition step trades off between seeking for a new optimization vector where the surrogate is minimum (exploitation of the surrogate) and looking for regions of the feasible space that have not yet been visited and that may potentially contain better values of the objective function (exploration of the feasible space). This paper proposes a new global optimization algorithm that uses a combination of inverse distance weighting (IDW) and radial basis functions (RBF) to construct the acquisition function. Rather arbitrary constraints that are simple to evaluate can be easily taken into account by the approach. Compared to Bayesian optimization, the proposed algorithm is computationally lighter and, as we show in a set of benchmark global optimization and hyperparameter tuning problems, it has a very similar (and sometimes superior) performance. MATLAB and Python implementations of the proposed approach are available at http://cse.lab.imtlucca.it/~bemporad/idwgopt

연구 동기 및 목표

• 함수 평가에 시간 또는 자원이 많이 소요되는 전역 최적화 문제에서 비용이 많이 드는 목적 함수 평가에 도전한다.
• 계산 오버헤드를 줄이면서도 높은 성능을 유지하는 베이지안 최적화의 경량 대체 방법을 개발한다.
• 간단하고 비용이 적은 제약 조건을 최적화 과정에 쉽게 통합할 수 있도록 한다.
• 실제 응용 분야(예: 하이퍼파ram터 튜닝, 공학 설계 등)에 적합한 실용적이고 효율적인 알고리즘을 제공한다.

제안 방법

• 샘플된 점들에서의 함수 값을 보간하기 위해 역거리 가중치(IDW)를 사용하여 서rogate 모델을 구축하며, 더 가까운 샘플에 더 큰 영향을 미치도록 한다.
• IDW를 라디얼 기저 함수(RBF)와 조합하여 국소적 및 전역적 추세를 잘 포착하는 매끄러운 서rogate 모델을 형성한다.
• 탐색(탐색 영역의 미방문 영역을 목표로 함)과 이용(서rogate를 최소화함)을 균형 잡는 할당 함수를 정의한다.
• 할당 함수를 최소화하여 반복적으로 새로운 샘플링 점을 선택함으로써 탐색과 이용 사이의 동적 균형을 확보한다.
• 후보 선택 과정에서 직접 제약 조건을 평가함으로써 서rogate 모델을 수정하지 않고도 제약 조건을 통합한다.
• 서rogate와 할당 함수에 의해 이끌리는 트러스트 영역 유사 전략을 사용하여 샘플링의 안정성과 수렴성을 보장한다.

실험 결과

연구 질문

• RQ1 IDW와 RBF를 사용하는 서rogate 기반 최적화 방법이 전역 최적화 과제에서 베이지안 최적화를 능가하거나 동등하게 성능을 내는가?
• RQ2 간단하게 평가할 수 있지만 탈락 영역을 제한할 수 있는 제약 조건은 이 방법에서 어떻게 다루어지는가?
• RQ3 베이지안 최적화에 비해 제안된 알고리즘의 계산 비용은 얼마나 낮게 유지되는가?
• RQ4 이 방법은 다양한 벤치마크 문제와 하이퍼파ram터 튜닝 시나리오에서 강건한 성능을 유지하는가?

주요 결과

• 제안된 IDW-RBF 알고리즘은 다양한 전역 최적화 벤치마크에서 베이지안 최적화와 동등하거나 뛰어난 성능을 달성한다.
• 특히 고차원 설정에서 하이퍼파라미터 튜닝 과제에서 수렴 속도와 정확도 면에서 우수하거나 동등한 성능을 보인다.
• 확률적 추론과 경계 가능성 최적화가 없기 때문에 베이지안 최적화보다 계산적으로 경량하다.
• 평가가 쉬운 제약 조건은 서rogate 모델의 구조를 변경하지 않고도 샘플링 과정에 원활하게 통합될 수 있다.
• 오픈소스 MATLAB 및 파이썬 구현체 덕분에 연구 및 산업 응용 분야에서 재현 가능성과 실용적 구현이 가능하다.
• IDW-RBF 보간에 기반한 잘 설계된 할당 함수 덕분에 탐색과 이용의 균형을 강력하게 유지한다.