[논문 리뷰] High-Dimensional Bayesian Optimization via Additive Models with Overlapping Groups

Paul Rolland, Jonathan Scarlett외 2명|arXiv (Cornell University)|2018. 02. 20.

Machine Learning and Data Classification인용 수 34

한 줄 요약

이 논문은 겹치는 그룹을 가진 덧셈형 가우시안 프로세스 모델을 사용하는 고차원 베이지안 최적화 프레임워크를 제안하며, 이는 더 유연한 복잡한 함수 모델링을 가능하게 한다. 그룹 간 상호작용을 그래프로 표현하고 메시지 전파를 통해 효율적인 확보 함수 최적화를 수행함으로써, 이산 그룹 모델에 비해 수렴성과 성능이 향상되며, 얼굴 검출 및 천체물리 모델링과 같은 실제 작업에서 특히 유리하다.

ABSTRACT

Bayesian optimization (BO) is a popular technique for sequential black-box function optimization, with applications including parameter tuning, robotics, environmental monitoring, and more. One of the most important challenges in BO is the development of algorithms that scale to high dimensions, which remains a key open problem despite recent progress. In this paper, we consider the approach of Kandasamy et al. (2015), in which the high-dimensional function decomposes as a sum of lower-dimensional functions on subsets of the underlying variables. In particular, we significantly generalize this approach by lifting the assumption that the subsets are disjoint, and consider additive models with arbitrary overlap among the subsets. By representing the dependencies via a graph, we deduce an efficient message passing algorithm for optimizing the acquisition function. In addition, we provide an algorithm for learning the graph from samples based on Gibbs sampling. We empirically demonstrate the effectiveness of our methods on both synthetic and real-world data.

연구 동기 및 목표

• 고차원 입력 공간으로의 베이지안 최적화 확장을 다루며, 기존 방법이 차원의 저주로 인해 실패하는 문제를 해결한다.
• 기존 덧셈 모델이 서로소 변수 그룹을 가정함으로써 복잡한 겹치는 의존성을 제한하는 한계를 극복한다.
• 의존성 그래프 상에서 메시지 전파를 활용하여 고차원 설정에서 효율적인 확보 함수 최적화 전략을 개발한다.
• 관측된 함수 평가로부터 데이터 기반으로 겹치는 그룹의 구조를 학습하기 위한 깁스 샘플링 기반 방법을 제안하여 저차원 함수 성분의 적응형 모델링을 가능하게 한다.
• 합성 및 실제 최적화 작업 모두에서 향상된 성능을 입증한다. 특히 얼굴 검출 및 천체물리적 우도 최대화 작업에서 성능 향상을 보였다.

제안 방법

• 임의의 겹치는 변수 부분집합(그룹)에 정의된 저차원 성분들의 합으로 고차원 함수를 모델링함으로써, 이전의 이산 그룹 가정을 일반화한다.
• 노드가 그룹이고 변이 공유 변수를 인코딩함으로써 그룹 간 관계를 그래프로 표현함으로써 구조적 추론을 가능하게 한다.
• 그래프 구조를 활용하여 고차원 공간에서 GP-UCB 확보 함수를 효율적으로 최적화하기 위한 메시지 전파 알고리즘을 유도한다.
• 관측된 함수 평가로부터 최적의 그래프 구조(즉, 그룹 구성)를 학습하기 위한 깁스 샘플링 절차를 설계함으로써, 겹치는 의존성의 데이터 기반 발견을 가능하게 한다.
• 학습된 그래프 구조를 확보 함수에 통합함으로써 고차원에서의 적응적이고 스케일러블한 최적화를 가능하게 한다.
• 프레임워크를 합성 함수와 실제 문제에 모두 적용한다. 특히 바이올라-존스 얼굴 검출 알고리즘의 파라미터 튜닝과 천체물리 모델에서의 우도 최대화 작업에 적용하였다.

실험 결과

연구 질문

• RQ1 덧셈 모델에서 겹치는 그룹 구조가 이산 그룹 모델에 비해 고차원 베이지안 최적화의 표현력과 성능을 향상시키는가?
• RQ2 함수를 겹치는 저차원 성분들의 합으로 모델링할 경우, 고차원 공간에서 확보 함수를 어떻게 효율적으로 최적화할 수 있는가?
• RQ3 노이즈가 있는 함수 평가로부터 기저의 그룹 구조(즉, 각 성분을 이루는 변수들)를 효과적으로 학습하는 방법은 무엇인가?
• RQ4 실제 최적화 작업에서 기존 방법에 비해 수렴 속도와 최종 성능 측면에서 제안된 방법은 어떻게 비교되는가?
• RQ5 베이지안 최적화에서 겹치는 그룹을 사용할 경우 정보 획득과 리그레트 경계에 대한 이론적 함의는 무엇인가?

주요 결과

• 제안된 겹치는 그룹 덧셈 모델은 합성 및 실제 실험 모두에서 이산 그룹 모델을 능가하며, 얼굴 검출에서 더 빠른 수렴과 높은 분류 정확도를 달성했다.
• 바이올라-존스 얼굴 검출 작업에서 'Overlap' 모델은 200회 반복 후 분류 정확도 93.2%를 기록했으며, OpenCV 기준선인 92.6%를 초월했고, 'No Overlap' 모델보다도 뛰어난 성능을 보였다.
• 'Overlap' 모델은 15회의 실행 동안 평균 누적 리그레트가 'No Overlap' 모델보다 유의미하게 낮게 나타나, 파rameter 공간 탐색의 효율성이 더 높다는 것을 시사했다.
• 깁스 샘플링 기반의 구조 학습 방법은 의미 있는 변수 조합을 성공적으로 식별했으며, 특히 바이올라-존스 캐스케이드의 연속된 단계들 간의 상관관계를 잘 포착했다.
• 실제로도 천체물리 모델링 작업에서 이 방법은 겹치는 그룹 구조를 활용하여 우도 최대화 성능을 향상시켰다.
• 보충 자료의 이론적 분석에 따르면, 이 모델의 정보 획득 구조는 이산 모델보다 유리한 편이지만, 리그레트 경계를 유도하는 것은 여전히 도전 과제로 남아 있다.