[논문 리뷰] Excursion Search for Constrained Bayesian Optimization under a Limited Budget of Failures

Alonso Marco, Alexander von Rohr외 3명|arXiv (Cornell University)|2020. 05. 15.

Advanced Bandit Algorithms Research참고 문헌 27인용 수 6

한 줄 요약

이 논문은 실패 예산을 사전에 정의한 범위 내에서 위험을 동적으로 조정함으로써 탐색과 안전성을 균형 잡는 XsF라는 새로운 베이지안 최적화 알고리즘을 제안한다. 가우시안 프로세스의 근접 집합 이론을 활용하여 제약 조건이 있는 검색 공간을 효율적으로 탐색함으로써, 합성 및 실제 응용 기준에서 최신 기법들보다 낮은 손실과 더 나은 실패 예산 활용도를 달성한다.

ABSTRACT

When learning to ride a bike, a child falls down a number of times before achieving the first success. As falling down usually has only mild consequences, it can be seen as a tolerable failure in exchange for a faster learning process, as it provides rich information about an undesired behavior. In the context of Bayesian optimization under unknown constraints (BOC), typical strategies for safe learning explore conservatively and avoid failures by all means. On the other side of the spectrum, non conservative BOC algorithms that allow failing may fail an unbounded number of times before reaching the optimum. In this work, we propose a novel decision maker grounded in control theory that controls the amount of risk we allow in the search as a function of a given budget of failures. Empirical validation shows that our algorithm uses the failures budget more efficiently in a variety of optimization experiments, and generally achieves lower regret, than state-of-the-art methods. In addition, we propose an original algorithm for unconstrained Bayesian optimization inspired by the notion of excursion sets in stochastic processes, upon which the failures-aware algorithm is built.

연구 동기 및 목표

• 실패가 바람직하지 않지만 용인 가능한 상황에서 안전하고 효율적인 최적화를 해결하기 위해.
• 최적화 과정 중 잔여 실패 수와 평가 횟수를 명시적으로 고려하는 의사결정 프레임워크를 개발하기 위해.
• 실패가 전혀 없는 보수적(0-실패) 및 무제한 실패를 허용하는 비보수적 접근을 개선하기 위해 위험 인식 탐색을 가능하게 하기 위해.
• 확률 과정 기하학에 기반한 획득 함수를 설계하여 효율적인 전역 최적화를 달성하기 위해.

제안 방법

• 이 방법은 가우시안 프로세스의 근접 집합에 기반한 새로운 획득 함수를 도입하여, 임계값을 초월하는 상향 교차를 탐지함으로써 전역 최적해가 존재할 가능성이 높은 영역을 식별한다.
• 결정의 정확성과 효율성을 향상시키기 위해 프로세스 도함수를 획득 함수에 통합한다.
• 각 반복에서 잔여 실패 예산에 따라 임계값을 조정함으로써 탐색 위험을 동적으로 조절하는 피드백 제어기 구조를 도입한다.
• 획득 함수에 안전성 제약과 실패 예산 제약을 통합하여 제약 조건이 있는 최적화로 알고리즘의 적용 범위를 확장한다.
• 합성 기준과 실제 응용(예: 신경망 압축 및 로봇 컨트롤러 튜닝)을 모두 활용하여 방법의 유효성을 검증한다.
• 가우시안 프로세스를 사용한 확률적 프레임워크로 구현하며, 해석적 취급 가능성을 확보하기 위해 라이스 공식을 활용한다.

실험 결과

연구 질문

• RQ1 최적화 과정에서 제한된 수의 실패가 허용될 경우, 베이지안 최적화는 어떻게 더 효율적으로 만들 수 있는가?
• RQ2 스토케스틱 프로세스의 근접 집합 이론을 활용하여 전역 최적화를 위한 원칙적인 획득 함수를 설계할 수 있는가?
• RQ3 동적으로 위험을 제어하는 메커니즘을 베이지안 최적화에 통합하여 실패 예산을 적응적으로 관리할 수 있는가?
• RQ4 실패 인식 획득 함수는 손실과 실패 효율성 측면에서 보수적 및 비보수적 베이지안 최적화 기법보다 뛰어나게 성능을 발휘하는가?
• RQ5 제안된 방법은 제약 조건이 있는 문제와 실제 응용을 포함한 다양한 최적화 문제에 일반화될 수 있는가?

주요 결과

• 모든 비교 기법들 중에서 10차원 마이하레비치 함수와 6차원 하트먼 함수에서 XsF가 가장 낮은 손실을 기록하였으며, 통계적으로 유의미한 개선을 보였다.
• 신경망 압축 작업에서 XsF는 이론적 크기가 12.4 kB인 0.76%의 검증 오차를 달성하여 EIC와 PESC보다 손실과 표준편차 측면에서 모두 뛰어났다.
• $Ω$ 지표를 통해 다른 방법들보다 안전한 평가를 더 자주 방문했음을 확인하여, 안전 영역의 활용도가 높다는 것을 입증했다.
• 카트폴 제어 문제에서 XsF는 EIC와 PESC보다 더 나은 컨트롤러를 발견하여 실제 로봇 응용 분야에서 뛰어난 성능을 보였다.
• 실패 예산을 효과적으로 활용하여, 실패가 전혀 없는 전략보다 제한된 실패를 허용함으로써 더 빠른 수렴과 더 나은 해를 도출할 수 있음을 보였다.
• 고정된 초모수 조건 하에서의 실험을 통해 Xs와 XsF가 항상 최신 기법들을 능가하는 성능을 보였으며, 이는 접근 방식의 강건성을 검증했다.