[논문 리뷰] Monte Carlo Tree Search based Variable Selection for High Dimensional Bayesian Optimization

Lei Song, Ke Xue외 2명|arXiv (Cornell University)|2022. 10. 04.

Metaheuristic Optimization Algorithms Research인용 수 10

한 줄 요약

이 논문은 고차원 베이지안 최적화를 위한 몬테카를로 트리 탐색 기반 변수 선택 방법인 MCTS-VS를 제안한다. 이 방법은 반복적으로 중요한 변수의 부분집합을 식별하고 최적화함으로써 계산 비용을 크게 감소시키면서도, NAS 및 MuJoCo 운동 제어 작업과 같은 합성 및 실세계 문제에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Bayesian optimization (BO) is a class of popular methods for expensive black-box optimization, and has been widely applied to many scenarios. However, BO suffers from the curse of dimensionality, and scaling it to high-dimensional problems is still a challenge. In this paper, we propose a variable selection method MCTS-VS based on Monte Carlo tree search (MCTS), to iteratively select and optimize a subset of variables. That is, MCTS-VS constructs a low-dimensional subspace via MCTS and optimizes in the subspace with any BO algorithm. We give a theoretical analysis of the general variable selection method to reveal how it can work. Experiments on high-dimensional synthetic functions and real-world problems (i.e., NAS-bench problems and MuJoCo locomotion tasks) show that MCTS-VS equipped with a proper BO optimizer can achieve state-of-the-art performance.

연구 동기 및 목표

• 고차원 블랙박스 함수에 대한 베이지안 최적화(BO)에서 차원의 극복 문제를 해결한다.
• 변수를 무작위로 선택하고 적응성이 없는 기존의 변수 선택 방법(예: 드롭아웃)의 한계를 극복한다.
• 표본 효율성을 향상시키고 계산 비용을 감소시키는 원리적인, 적응적인 변수 선택 메커니즘을 개발한다.
• 변수 선택 방법의 이론적 분석을 통해 그가 레지트와 복잡도에 미치는 영향을 이해하며, 중요한 변수를 선택할 경우 레지트와 복잡도가 감소함을 보여준다.
• 실험적으로 MCTS-VS가 다양한 고차원 최적화 문제에서 최신 기술 수준의 성능을 달성함을 입증한다. 이는 NAS 및 강화 학습 작업을 포함한다.

제안 방법

• MCTS-VS는 몬테카를로 트리 탐색(MCTS)을 사용하여 변수 부분집합을 탐색하고 평가하며, 각 변수의 기여도 잠재력에 따라 변수를 순위 매긴다.
• 각 반복 단계에서 MCTS는 변수 부분집합에 대한 탐색 트리를 구축하며, 시뮬레이션 기반 롤아웃을 사용하여 각 변수 부분집합의 기대 향상도를 추정한다.
• 선택된 부분집합(중요한 변수로 간주됨)은 표준 베이지안 최적화 알고리즘(예: 기초 BO, TuRBO)을 통해 최적화되며, 중요하지 않은 변수는 이전 값으로 고정된다.
• 이 방법은 반복 과정에서 선택된 변수 집합을 동적으로 적응함으로써 함수의 구조에 대한 사전 지식이 필요로 하지 않는다.
• 이론적 분석을 통해 기존 결과(예: GP-UCB, 드롭아웃)를 일반화하는 레지트 및 복잡도의 경계를 제공하며, 좋은 변수 선택이 레지트와 계산 비용을 감소시킴을 보여준다.
• 이 프레임워크는 모듈식이며, SAASBO와 같이 어떤 베이지안 최적화 알고리즘과도 조합되어 초고차원 환경에서 최적화를 더욱 가속화할 수 있다.

실험 결과

연구 질문

• RQ1 MCTS 기반 변수 선택은 고차원 베이지안 최적화에서 무작위 선택(예: 드롭아웃)보다 우월한가?
• RQ2 변수 선택은 고차원 BO에서 누적 레지트와 계산 복잡도에 어떤 영향을 미치는가?
• RQ3 MCTS-VS는 고차원 함수에서 의미 있는 중요한 변수를 식별할 수 있으며, 이는 더 나은 최적화 성능로 이어지는가?
• RQ4 MCTS-VS를 고급 BO 알고리즘(예: SAASBO, TuRBO)과 조합하면 솔루션 품질을 희생시키지 않고도 상당한 속도 향상을 얻을 수 있는가?
• RQ5 낮은 샘플 수, 고차원 베이지안 최적화 환경에서 LASSO와 같은 비-BO 기반 변수 선택 방법과 MCTS-VS는 어떻게 비교되는가?

주요 결과

• MCTS-VS는 모든 테스트된 합성 함수(Hartmann 6×300, 6×500, Levy 10×100, 10×300)에서 드롭아웃 기반 변수 선택보다 일관되게 뛰어난 성능을 보이며, 평균 목표값이 더 높다.
• Hartmann 6×500에서 MCTS-VS-TuRBO는 평균 목표값 3.012(±0.434)를 기록하여 드롭아웃(2.629)과 LA-MCTS-TuRBO(2.619)보다 유의미하게 높았으며, Wilcoxon 부호 순위 검정에서 p값 < 0.05를 기록했다.
• Hartmann 6×500에서 MCTS-VS-SAASBO는 SAASBO 대비 7배 이상의 가속도를 기록하여, 유의미한 런타임 감소를 입증했다.
• 50회 통계적 테스트에서 MCTS-VS-TuRBO는 모든 합성 함수에서 LA-MCTS-TuRBO보다 유의미하게 뛰어나, MCTS 기반 선택의 우월성을 확인했다.
• 라소-VS는 기초 BO를 사용할 경우 드롭아웃보다 성능이 열 劣하였는데, 이는 제한된 샘플 수에서 선형 모델 피팅이 어려워서일 가능성이 높으며, 이는 라소가 낮은 데이터 BO 환경에서의 한계를 보여준다.
• 성능 향상과 검색 공간 감소를 통한 일관된 결과를 바탕으로, 이 방법은 고차원 문제에서 중요한 변수를 성공적으로 식별했으며, 이는 변수 선택의 이론적 분석 결과를 검증한다.