[논문 리뷰] High Dimensional Bayesian Optimization via Supervised Dimension Reduction

Miao Zhang, Huiqi Li외 1명|arXiv (Cornell University)|2019. 07. 21.

Advanced Multi-Objective Optimization Algorithms참고 문헌 3인용 수 6

한 줄 요약

이 논문은 고차원 목적 함수의 내재된 저차원 구조를 자동으로 학습하기 위해 절단 역회귀(Sliced Inverse Regression, SIR)를 활용한 새로운 베이지안 최적화 방법인 SIR-BO와 KISIR-BO를 제안한다. 비선형 모델링을 가능하게 하고 계산 비용을 감소시키기 위해 커널 기법을 통합함으로써, 추가적인 가정이나 선형 임bedding 구조에 의존하지 않고 선형 및 비선형 함수에서 뛰어난 성능을 달성하며, 합성 및 실제 응용 과제(예: 하이퍼파ram터 튜닝, 로봇 제어)에서 최신 기준 성능을 초월한다.

ABSTRACT

Bayesian optimization (BO) has been broadly applied to computational expensive problems, but it is still challenging to extend BO to high dimensions. Existing works are usually under strict assumption of an additive or a linear embedding structure for objective functions. This paper directly introduces a supervised dimension reduction method, Sliced Inverse Regression (SIR), to high dimensional Bayesian optimization, which could effectively learn the intrinsic sub-structure of objective function during the optimization. Furthermore, a kernel trick is developed to reduce computational complexity and learn nonlinear subset of the unknowing function when applying SIR to extremely high dimensional BO. We present several computational benefits and derive theoretical regret bounds of our algorithm. Extensive experiments on synthetic examples and two real applications demonstrate the superiority of our algorithms for high dimensional Bayesian optimization.

연구 동기 및 목표

• 고차원 베이지안 최적화의 과제를 해결하기 위해, 표준 방법이 차원의 극복에 의해 성능이 저하되는 문제를 다룬다.
• 추가 또는 선형 임베딩 구조에 강한 가정에 의존하는 기존 접근법의 한계를 극복한다.
• 최적화 과정에서 목적 함수의 내재된 저차원 부분공간을 자동으로 학습하는 방법을 개발한다.
• 효율적인 SVD 및 커널화 기법을 통해 고차원 환경에서의 계산 복잡도를 감소시킨다.
• 이론적 누적 손실 경계를 제공하고 합성 및 실제 응용 과제에서 성능을 검증한다.

제안 방법

• 목적 함수의 내재된 구조를 포착하는 저차원 잠재 공간으로 고차원 입력을 투영하기 위해 감독 기반 차원 축소 기법으로 절단 역회귀(Sliced Inverse Regression, SIR)를 도입한다.
• 특히 N ≪ D 인 고차원 환경에서 계산 비용을 줄이기 위해 SIR에 대해 감소된 SVD를 적용한다.
• 비선형 다양체 학습을 가능하게 하기 위해 SIR를 확장하기 위한 커널 기법을 개발한다. 이는 입력 공간 내 비선형 관계를 모델링할 수 있도록 한다.
• 학습된 저차원 투영을 사용하여 가우시안 프로세스를 사전 모델로 사용하여 베이지안 최적화를 수행한다.
• 감소된 공간에서 다음 쿼리 포인트를 선택하기 위해 GP 사전 모델을 업데이트하고 순차적으로 획득 함수 최적화 전략을 시행한다.
• 제안된 알고리즘에 대해 이론적 누적 손실 경계를 유도하여, 약한 가정 하에 향상된 수렴 성능을 보임을 보여준다.

실험 결과

연구 질문

• RQ1 감독 기반 차원 축소를 통한 SIR가 고차원 목적 함수의 내재된 저차원 구조를 베이지안 최적화에서 효과적으로 식별할 수 있는가?
• RQ2 진정한 함수 구조가 사전 가정(예: 가산성 또는 선형성)과 일치하지 않을 경우, 제안된 방법이 최신 HDBO 기법들과 비교해 어떻게 성능을 내는가?
• RQ3 커널화된 SIR 확장이 비선형 고차원 함수에서 성능 향상에 얼마나 기여하는가?
• RQ4 특히 d ≠ de일 경우, 효과적 차원 d에 대한 잘못된 가정에 대해 이 방법은 얼마나 강인한가?
• RQ5 D = 20,000과 같은 극도로 고차원 공간에서도 낮은 누적 손실과 계산 비용을 유지하면서 효율적으로 최적화할 수 있는가?

주요 결과

• SIR-BO와 KISIR-BO는 합성 및 실제 응용 과제에서 표준 BO 및 모든 기준 HDBO 방법(예: REMBO, ADD-BO, Dropout)을 초월하며, 특히 목적 함수가 가산성 또는 선형 임베딩 구조를 따르지 않을 경우 뚜렷한 성능 우위를 보인다.
• 비선형 Trimodel 함수에서 KISIR-BO는 최고의 성능을 기록했고, REMBO와 ADD-BO는 심각하게 성능 저하를 보여, 사전 가정 없이 내재된 구조를 학습하는 데서의 이점이 입증된다.
• 효과적 차원 d에 대한 잘못된 가정에 대해 이 방법은 최소한의 성능 저하를 보이며 강인한 반면, d ≠ de일 경우 성능이 저하되는 REMBO와는 대조된다.
• D=2000, d=10인 보스턴 주택 데이터셋에서 KISIR-BO는 모든 기준보다 더 빠른 수렴 속도와 낮은 누적 손실을 기록하여 극도로 높은 차원에 대한 확장성을 확인한다.
• 3링크 워커 로봇 제어 과제에서 SIR-BO는 핵심 파rameter를 포괄하는 저차원 부분공간(d=15)을 성공적으로 식별했으며, 전체 공간에서의 BO 및 다른 기준보다 뛰어난 성능을 보였다.
• 실험 결과는 영향력 있는 하이퍼파rameter가 몇 개뿐임을 고려할 때, 종속된 파rameter의 부분공간에서의 하이퍼파ram터 최적화가 효과적으로 수행될 수 있음을 보여주며, Hutter 등이 제기한 가설을 검증한다.