[논문 리뷰] Semi-supervised Embedding Learning for High-dimensional Bayesian Optimization

Jingfan Chen, Guanghui Zhu외 2명|arXiv (Cornell University)|2020. 05. 29.

Machine Learning and Data Classification참고 문헌 36인용 수 6

한 줄 요약

이 논문은 고차원 베이지안 최적화를 위한 반감독형 반복적 임bedding 학습 프레임워크인 SILBO를 제안한다. 이 프레임워크는 라벨이 붙은(획득 함수 평가) 및 라벨이 없는(랜덤 또는 후보) 점을 모두 활용하여 저차원 투영 행렬을 동적으로 업데이트한다. 반감독 차원 축소와 난수화된 일반화 고유값 계산을 활용함으로써, SILBO는 최신 기술에 비해 합성 및 신경망 하이퍼파ram터 튜닝 작업에서 뛰어난 최적화 성능을 달성한다.

ABSTRACT

Bayesian optimization is a broadly applied methodology to optimize the expensive black-box function. Despite its success, it still faces the challenge from the high-dimensional search space. To alleviate this problem, we propose a novel Bayesian optimization framework (termed SILBO), which finds a low-dimensional space to perform Bayesian optimization iteratively through semi-supervised dimension reduction. SILBO incorporates both labeled points and unlabeled points acquired from the acquisition function to guide the embedding space learning. To accelerate the learning procedure, we present a randomized method for generating the projection matrix. Furthermore, to map from the low-dimensional space to the high-dimensional original space, we propose two mapping strategies: $ ext{SILBO}_{FZ}$ and $ ext{SILBO}_{FX}$ according to the evaluation overhead of the objective function. Experimental results on both synthetic function and hyperparameter optimization tasks demonstrate that SILBO outperforms the existing state-of-the-art high-dimensional Bayesian optimization methods.

연구 동기 및 목표

• 고차원 베이지안 최적화에서 차원의 저주 문제를 해결하기 위해 효과적인 저차원 임베딩 공간을 학습하는 것.
• 기존 방법에서 정적 투영 행렬과 단순 감독 기반 차원 축소의 한계를 극복하는 것.
• 임베딩 학습에 라벨이 붙은 점과 라벨이 없는 점을 모두 활용하여 계산 비용을 줄이는 것.
• 고차원 일반화 고유값 문제를 해결하기 위한 난수화된 방법을 통해 학습 과정을 가속화하는 것.
• 목적 함수 평가 비용에 따라 효율적인 두 가지 매핑 전략—SILBO-BU 및 SILBO-TD—제공하기 위함.

제안 방법

• SILBO는 각 베이지안 최적화 반복 단계에서 라벨이 붙은(획득 함수에 의해 선택된) 점과 라벨이 없는(랜덤으로 샘플링된) 점을 모두 사용하여 투영 행렬을 반복적으로 업데이트하는 프레임워크를 사용한다.
• 고차원 목적 함수의 내재된 구조를 유지하는 저차원 임베딩을 학습하기 위해 반감독 차원 축소를 적용한다.
• 임베딩 학습 단계에서 일반화 고유값 문제를 효율적으로 해결하기 위해 난수화 알고리즘을 도입하여 시간 복잡도를 감소시킨다.
• 두 가지 매핑 전략을 제안한다: 저비용 목적 함수를 위한 SILBO-BU(Bottom-up)와 고비용 목적 함수를 위한 SILBO-TD(Top-down)로, 재평가 오버헤드를 최소화한다.
• 학습된 임베딩을 가우시안 프로세스 대체 모델에 통합하여 샘플 효율적인 전역 최적화를 실현한다.
• 획득 함수로부터 새로운 데이터를 사용하여 주기적으로 투영 행렬을 재학습함으로써, 적응적이고 동적인 부분공간 학습이 가능하다.

실험 결과

연구 질문

• RQ1 라벨이 붙은 점과 라벨이 없는 점을 모두 활용한 반감독 학습이 고차원 베이지안 최적화에서 저차원 임베딩의 품질을 향상시키는가?
• RQ2 투영 행렬을 반복적이고 동적으로 업데이트하는 방식이 정적 또는 단일 회차 투영 학습보다 최적화 성능을 향상시키는가?
• RQ3 일반화 고유값 문제를 해결하기 위한 난수화 알고리즘이 정확도를 손상시키지 않고 임베딩 학습 과정을 상당히 가속화하는가?
• RQ4 다른 매핑 전략(SILBO-BU 대비 SILBO-TD)이 목적 함수 평가 비용이 다양할 경우 최적화 효율성에 어떤 영향을 미치는가?
• RQ5 SILBO는 합성 및 실제 하이퍼파ram터 튜닝 작업에서 기존 최신 기술에 비해 어느 정도 뛰어난 성능을 보이는가?

주요 결과

• SILBO는 합성 함수(예: 1000차원 Branin, Hartmann6, Colville)와 신경망 하이퍼파ram터 튜닝 작업 모두에서 최신 기술에 비해 뛰어난 성능을 보였다.
• 반감독 차원 축소(SILBO-semi)는 단순 감독 기반 방법(SILBO-only-labeled)보다 최적화 성능을 크게 향상시켜, 라벨이 없는 데이터의 가치를 입증했다.
• 획득 함수로부터 유도된 점을 사용한 반복적 학습(SILBO-random+acquisition)은 랜덤 초기 점만을 사용하는 경우(SILBO-only-random)보다 항상 더 나은 해를 찾는다. 이는 동적 임베딩 업데이트의 효과를 확인한다.
• 투영 행렬 업데이트 빈도가 낮을수록 최적화 성능이 향상되며, 이는 빈번하지만 정보가 적은 업데이트보다는 희소하지만 정보가 풍부한 업데이트가 더 효과적임을 시사한다.
• SILBO-BU는 저비용 함수에 대해 효율적이며, SILBO-TD는 고비용 목적 함수에서도 경쟁적인 런타임을 유지하여 이중 매핑 전략의 설계가 타당함을 검증한다.
• 일반화 고유값 문제를 위한 난수화 알고리즘이 계산 비용을 감소시켜 고차원 환경에서 확장 가능한 임베딩 학습을 가능하게 했다.