[논문 리뷰] Bayesian Optimization in a Billion Dimensions via Random Embeddings

Ziyu Wang, Frank Hutter외 3명|arXiv (Cornell University)|2013. 01. 09.

Advanced Multi-Objective Optimization Algorithms참고 문헌 54인용 수 15

한 줄 요약

이 논문은 랜덤 임베딩 베이지안 최적화(REMBO)를 소개한다. 이 방법은 높은 차원의 공간(최대 10억 차원)에서 베이지안 최적화를 가능하게 하기 위해 문제를 낮은 차원의 부분공간으로 투영하는 방식을 사용한다. 이 접근법은 좌표 및 회전 변환에 대해 불변성을 유지하며, 47개의 매개변수를 가진 혼합 정수 프로그래밍 솔버에서 최신 기술 수준의 성능을 달성한다. 또한 내재 차원이 낮을 경우, 최소 3개의 임베딩 차원만으로도 효과적으로 작동함을 보여준다.

ABSTRACT

Bayesian optimization techniques have been successfully applied to robotics, planning, sensor placement, recommendation, advertising, intelligent user interfaces and automatic algorithm configuration. Despite these successes, the approach is restricted to problems of moderate dimension, and several workshops on Bayesian optimization have identified its scaling to high-dimensions as one of the holy grails of the field. In this paper, we introduce a novel random embedding idea to attack this problem. The resulting Random EMbedding Bayesian Optimization (REMBO) algorithm is very simple, has important invariance properties, and applies to domains with both categorical and continuous variables. We present a thorough theoretical analysis of REMBO. Empirical results confirm that REMBO can effectively solve problems with billions of dimensions, provided the intrinsic dimensionality is low. They also show that REMBO achieves state-of-the-art performance in optimizing the 47 discrete parameters of a popular mixed integer linear programming solver.

연구 동기 및 목표

• 기존에 약 10차원을 초과하면 실패하는 베이지안 최적화의 확장성 한계를 해결하기 위해.
• 외재적 차원 D가 매우 크더라도(예: 최대 10억), 연속형 및 이산형 변수를 모두 포함하는 도메인에서 효율적인 최적화를 가능하게 하기 위해.
• 좌표 및 회전 변환에 대해 불변인 방법을 개발하여 다양한 매개변수화 방식에 대해 강건성을 확보하기 위해.
• 내재 차원이 낮을 경우, 고외재적 차원 공간에서도 효과적인 최적화가 가능하다는 것을 경험적으로 검증하기 위해.
• 실세계의 고차원 블랙박스 최적화 문제, 예를 들어 혼합 정수 프로그래밍 솔버 설정과 같은 문제에서 최신 기술 수준의 성능을 보여주기 위해.

제안 방법

• 높은 차원의 입력 공간 ℝᴰ를 낮은 차원의 부분공간 ℝᵈ로 투영하기 위해 랜덤 투영 행렬을 사용한다. 여기서 d ≪ D이다.
• 베이지안 최적화는 가우시안 프로세스 사전분포와 표준 취득 함수를 사용하여 임베딩된 공간에서 수행된다.
• 내재 차원 de가 낮을 경우, 목적 함수의 구조가 유지되어 전역 최적해를 손실하지 않는다.
• 알고리즘은 좌표 불변성을 가지며, 이는 직교 변환에 대해 불변인 분포에서 추출된 랜덤 투영 행렬 덕분이다.
• 이 방법은 회전 불변성을 가지며, 이는 입력 공간의 회전에 대해 불변인 분포에서 추출된 랜덤 행렬 덕분이다.
• 기존의 베이지안 최적화에 최소한의 수정만으로도 가능하다. 평가 전에 입력이 랜덤 행렬로 사전 곱해진다.

실험 결과

연구 질문

• RQ1 외재적 차원 D가 수십억에 이르는 문제에 대해 베이지안 최적화를 효과적으로 확장할 수 있는가?
• RQ2 내재 차원 de가 D보다 훨씬 작을 경우, 베이지안 최적화의 성능이 크게 떨어지는가?
• RQ3 제안된 REMBO 알고리즘이 입력 공간의 좌표 및 회전 변환에 대해 불변인가?
• RQ4 REMBO는 연속형 및 이산형 변수를 포함한 실세계의 고차원 블랙박스 최적화 문제에서 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ5 외재적 차원이 중간 정도이지만 내재 차원이 낮을 경우, REMBO의 성능은 표준 베이지안 최적화와 무작위 탐색보다 어떻게 비교되는가?

주요 결과

• REMBO는 10억 차원의 공간에 임bed된 함수를 성공적으로 최적화하여, 내재 차원이 낮을 경우 고차원 문제도 효과적으로 해결할 수 있음을 보여주었다.
• 유명한 혼합 정수 선형 프로그래밍 솔버의 47개 이산 매개변수 최적화에서 최신 기술 수준의 성능을 달성했으며, 무작위 탐색을 능가하고, 중첩 실행을 사용한 표준 베이지안 최적화와도 맞먹는 성능을 보였다.
• 단지 d=3개의 임베딩 차원만으로도 경쟁 가능한 성능을 달성하여, 낮은 차원의 임베딩이 고차원 문제의 핵심적인 구조를 포괄할 수 있음을 보여주었다.
• 경험적 결과는 이론적으로 예측한 바와 같이 REMBO가 좌표 및 회전 변환에 대해 불변임을 확인했다.
• 랜덤 포레스트 분류기의 14차원 매개변수 공간에서, k=4개의 중첩 실행을 사용한 경우 REMBO는 표준 베이지안 최적화와 거의 유사한 성능을 보였다. 이는 낮은 차원의 부분공간에서 작동하고 있음에도 불구하고 성능이 높다는 것을 의미한다.
• 결과는 많은 실세계 최적화 문제가 낮은 내재 차원을 가지며, 이에 따라 REMBO가 고차원 블랙박스 최적화에 대해 실용적이고 강건한 접근법이 될 수 있음을 시사한다.