[논문 리뷰] Increasing the Scope as You Learn: Adaptive Bayesian Optimization in Nested Subspaces

Leonard Papenmeier, Luigi Nardi외 1명|arXiv (Cornell University)|2023. 04. 22.

Machine Learning and Data Classification인용 수 10

한 줄 요약

BAxUS는 시간에 따라 탐색 공간을 확장하기 위해 중첩 무작위 하위공간을 이용하는 적응형 베이지안 최적화를 도입하며, 이론적 보장과 고차원 작업 전반에 걸친 강력한 실험적 성능을 제공합니다.

ABSTRACT

Recent advances have extended the scope of Bayesian optimization (BO) to expensive-to-evaluate black-box functions with dozens of dimensions, aspiring to unlock impactful applications, for example, in the life sciences, neural architecture search, and robotics. However, a closer examination reveals that the state-of-the-art methods for high-dimensional Bayesian optimization (HDBO) suffer from degrading performance as the number of dimensions increases or even risk failure if certain unverifiable assumptions are not met. This paper proposes BAxUS that leverages a novel family of nested random subspaces to adapt the space it optimizes over to the problem. This ensures high performance while removing the risk of failure, which we assert via theoretical guarantees. A comprehensive evaluation demonstrates that BAxUS achieves better results than the state-of-the-art methods for a broad set of applications.

연구 동기 및 목표

• 수백 차원의 확장 가능한 베이지안 최적화의 필요성을 제시한다.
• 과거 관측치를 보존하면서 탐색 하위공간을 적응적으로 확장하는 BAxUS를 제안한다.
• 임베딩 성공과 수렴에 대한 이론적 보장을 제공한다.
• 다양한 벤치마크에서 최첨단 고차원 BO 방법들에 대한 실험적 우수성을 입증한다.

제안 방법

• 중첩 무작위 하위공간 임베딩을 사용하여 타깃 공간 차원을 점진적으로 증가시키는 베이지안 최적화 프레임워크인 BAxUS를 도입한다.
• 저차원 타깃 공간에서 D차원 입력 공간으로 매핑하기 위해 희소 임베딩 행렬 S^T를 사용하여 효율적인 최적화를 가능하게 한다.
• 관찰된 진행 상황에 따라 TR 크기를 조정하며 변화하는 영역 내 평가 포인트를 선택하기 위해 TuRBO에서 영감을 받은 트러스트 영역 접근법과 Thompson 샘플링을 채택한다.
• 타깃 공간 확장에 따라 입력 차원을 균형 잡힌 기여 그룹으로 구분하는 분할 전략을 제공하여 차원 수를 늘인다.
• BAxUS의 전역 수렴을 증명하고 최악의 경우 임베딩 성공률을 기존 임베딩(예: HeSBO)과 비교한다.
• 연속적인 타깃 차원에 걸쳐 평가 예산을 할당하기 위한 데이터 기반 스케줄을 정의하고 사용한다.

실험 결과

연구 질문

• RQ1 시간이 지남에 따라 타깃 차원을 증가시키면서 BAxUS가 전역 최적해를 안정적으로 포함시킬 수 있는가?
• RQ2 현실적인 문제 차원에서 BAxUS 임베딩이 이전의 희소 임베딩(예: HeSBO)보다 최악의 경우 성공 확률이 더 높은가?
• RQ3 적응적 하위공간 확장이 고차원, 노이즈가 있는, 활성 하위공간 벤치마크에서 최신 BO 방법들과 비교하여 성능에 어떤 영향을 미치는가?

주요 결과

• BAxUS는 최첨단 방법들과 비교하여 광범위한 고차원 작업에서 우수한 성능을 달성한다.
• BAxUS 임베딩은 HeSBO보다 전역 최적해를 포함하는 최악의 경우 보장이 더 크며 희소 임베딩 중 최적이다.
• 입력 차원이 커짐에 따라 BAxUS가 최적해를 포함할 확률은 HeSBO에 수렴하고, 유한 D에서 BAxUS는 강건함을 유지한다.
• 실험 결과 BAxUS가 활성 하위공간이 있는 벤치마크에서 경쟁자들을 능가하고 관측 노이즈에 대해 여전히 강건함을 보여준다.
• 소거 연구는 중첩된 BAxUS 임베딩 구성요소가 유사한 중첩 HeSBO 임베딩 대비 이득에 크게 기여함을 시사한다.
• BAxUS는 다중 실행과 다양한 작업 환경에서 강한 일관성을 입증한다.