[논문 리뷰] Decentralized High-Dimensional Bayesian Optimization with Factor Graphs

Trong Nghia Hoang, Quang Minh Hoang외 2명|arXiv (Cornell University)|2017. 11. 19.

Distributed Sensor Networks and Detection Algorithms인용 수 20

한 줄 요약

이 논문은 고차원 베이지안 최적화 알고리즘인 DEC-HBO를 제안한다. 이 알고리즘은 목적 함수 내 입력 성분 간의 상호의존성을 모델링하기 위해 희박한 인수 그래프를 사용하며, 분산 메시지 전파를 통해 효율적이고 확장 가능한 확보 최적화를 가능하게 한다. 이는 딥러닝 및 가우시안 프로세스의 하이퍼파ram터 튜닝과 같은 고차원 문제에서 최신 기술을 초월하는 성능을 달성하며, 무결함 수렴 보장을 보장한다.

ABSTRACT

This paper presents a novel decentralized high-dimensional Bayesian optimization (DEC-HBO) algorithm that, in contrast to existing HBO algorithms, can exploit the interdependent effects of various input components on the output of the unknown objective function f for boosting the BO performance and still preserve scalability in the number of input dimensions without requiring prior knowledge or the existence of a low (effective) dimension of the input space. To realize this, we propose a sparse yet rich factor graph representation of f to be exploited for designing an acquisition function that can be similarly represented by a sparse factor graph and hence be efficiently optimized in a decentralized manner using distributed message passing. Despite richly characterizing the interdependent effects of the input components on the output of f with a factor graph, DEC-HBO can still guarantee no-regret performance asymptotically. Empirical evaluation on synthetic and real-world experiments (e.g., sparse Gaussian process model with 1811 hyperparameters) shows that DEC-HBO outperforms the state-of-the-art HBO algorithms.

연구 동기 및 목표

• 기존의 고차원 베이지안 최적화(HBO) 알고리즘이 제한적인 독립성 가정에 의존함으로써 발생하는 확장성 및 성능 한계를 해결하기 위해.
• 저효율 차원 수를 가정하지 않고도 고차원 목적 함수 내 입력 성분 간의 복잡한 상호의존성을 모델링하기 위해.
• 이론적 성능 보장을 유지하면서도 분산 방식으로 효율적으로 최적화할 수 있는 확보 함수를 설계하기 위해.
• 저차원 구조에 대한 사전 지식 없이도 고차원 환경에서 무결함 수렴을 달성하기 위해.
• 딥 네URAL 네트워크 및 희소 가우시안 프로세스의 하이퍼파ram터 튜닝과 같은 실제 문제에 대해 경험적으로 검증하기 위해.

제안 방법

• 알 수 없는 목적 함수 f를, 각각 소수의 입력 변수 부분집합(겹침 가능)을 포함하는 랜덤 인수 함수들의 합으로 표현하며, 각 인수 함수에 독립적인 가우시안 프로세스 사전 분포를 적용한다.
• 입력 성분 간의 상호의존성 구조를 인코딩하기 위해 희박한 인수 그래프를 구성하며, 각 인수 내에서 직접적 의존성이 존재하고 공유 변수를 통해 간접적 의존성이 전파된다.
• 확보 함수를 동일한 희박한 인수 그래프 구조를 따르도록 설계하여, 분산 메시지 전파 알고리즘을 통해 분산 최적화를 가능하게 한다.
• 지역 메시지를 계산하기 위해 기대 전파 알고리즘의 변종을 사용하여, 확보 함수의 효율적이고 확장 가능한 최대화를 가능하게 한다.
• 순차적이고 반복적인 방식으로 알고리즘을 적용한다: 확보 함수를 쿼리하고, f를 관측하며, GP 신뢰도를 갱신하고, 갱신된 신뢰도를 사용해 다시 확보 함수를 계산한다.
• 인수 그래프의 구조와 가우시안 프로세스 모델에서 메시지 전파의 수렴 성질을 활용하여 이론적으로 무결함 성능을 보장한다.

실험 결과

연구 질문

• RQ1 고차원 베이지안 최적화 알고리즘이 저효율 차원 수를 가정하지 않고도 입력 상호의존성을 활용할 수 있는가?
• RQ2 목적 함수의 인수 그래프 표현이 표현력 있는 모델링과 확장 가능한 최적화를 동시에 가능하게 할 수 있는가?
• RQ3 희박한 인수 그래프를 기반으로 한 분산 메시지 전파가 고차원 공간에서 확보 함수 최대화를 효율적으로 달성할 수 있는가?
• RQ4 제안된 방법이 최신 기술의 HBO 알고리즘을 초월하면서도 점차적으로 무결함 성능을 달성하는가?
• RQ5 이 방법은 딥러닝 및 가우시안 프로세스의 하이퍼파ram터 튜닝과 같은 실제 고차원 최적화 과제에서 어떻게 성능을 발휘하는가?

주요 결과

• 1811개의 하이퍼파ram터를 가진 희소 가우시안 프로세스 모델의 하이퍼파라미터 튜닝에서, DEC-HBO는 ADD-GP-UCB와 REMBO를 모두 능가하여 최종 RMSE가 4.0437을 기록했으며, ADD-GP-UCB는 4.1774, REMBO는 9.9100이었다.
• CIFAR-10에서의 컬라프션 신경망에 대해, DEC-HBO는 테스트 오차 0.0950을 달성하여 ADD-GP-UCB의 0.1068과 MF3의 0.1107보다 유의미하게 낮았다.
• DEC-HBO의 성능 향상은 초기 BO 반복에서 가장 두드러지며, 시간 제약이 있는 최적화에서 뛰어난 샘플 효율성을 보여준다.
• 독립성 또는 저차원 구조를 가정하는 방법들과 달리, rich하게 상호의존적인 입력 영향을 모델링함에도 불구하고 DEC-HBO는 무결함 수렴을 유지한다.
• 경험적 결과는 희박한 인수 그래프를 통한 상호의존성 모델링이 분리되거나 무작위 임베딩 접근보다 열등한 최적화 성능을 제공한다는 것을 보여준다.
• 분산 메시지 전파 프레임워크는 입력의 효율 차원 수에 대한 사전 지식 없이도 고차원 공간에서의 확장 가능한 최적화를 가능하게 한다.