[논문 리뷰] Meta Learning Black-Box Population-Based Optimizers

Hugo Siqueira Gomes, Benjamin Léger외 1명|arXiv (Cornell University)|2021. 03. 05.

Domain Adaptation and Few-Shot Learning참고 문헌 43인용 수 5

한 줄 요약

이 논문은 특정 문제 유형에 대해 인구 기반의 블랙박스 최적화기를 자동으로 학습할 수 있는 메타학습 프레임워크인 Learning-to-Optimize POMDP (LTO-POMDP)를 제안한다. 최적화를 부분적으로 관찰 가능한 마르코프 결정 과정(POMDP)으로 모델링하고, 확률적 알고리즘 성능에 기반한 메타손실을 사용해 훈련함으로써, CMA-ES와 같은 최신 알고리즘보다 더 높은 샘플 효율성과 더 나은 일반화 성능을 달성한다. 다양한 벤치마크 작업과 하이퍼파라미터 튜닝 시나리오에서 최대 2~3배 빠른 속도로 성능을 뛰어넘는다.

ABSTRACT

The no free lunch theorem states that no model is better suited to every problem. A question that arises from this is how to design methods that propose optimizers tailored to specific problems achieving state-of-the-art performance. This paper addresses this issue by proposing the use of meta-learning to infer population-based black-box optimizers that can automatically adapt to specific classes of problems. We suggest a general modeling of population-based algorithms that result in Learning-to-Optimize POMDP (LTO-POMDP), a meta-learning framework based on a specific partially observable Markov decision process (POMDP). From that framework's formulation, we propose to parameterize the algorithm using deep recurrent neural networks and use a meta-loss function based on stochastic algorithms' performance to train efficient data-driven optimizers over several related optimization tasks. The learned optimizers' performance based on this implementation is assessed on various black-box optimization tasks and hyperparameter tuning of machine learning models. Our results revealed that the meta-loss function encourages a learned algorithm to alter its search behavior so that it can easily fit into a new context. Thus, it allows better generalization and higher sample efficiency than state-of-the-art generic optimization algorithms, such as the Covariance matrix adaptation evolution strategy (CMA-ES).

연구 동기 및 목표

• 일반적인 블랙박스 최적화기의 한계를 해결하기 위해, 이는 종종 높은 평가 횟수를 요구하고 복잡하거나 속임수 함수에서 성능이 제한됨.
• 수작업으로 만든 맞춤형 최적화기의 높은 비용과 전문 지식 요구를 해결하기 위해, 문제에 특화된 탐색 전략을 자동으로 데이터 기반으로 학습할 수 있도록 함.
• 유사한 최적화 작업들로부터 인덕티브 바이어스를 학습함으로써, 블랙박스 최적화에서 일반화 성능과 샘플 효율성을 향상시키기.
• 도함수를 사용하지 않고, 유일하게 해답의 순위에 기반해 작동하는 인구 기반 최적화기를 개발함으로써, 함수 변환에 대해 불변성을 확보하기.
• 다양한 최적화 시나리오에서 학습된 최적화기의 효과성을 입증하기 위해, 벤치마크 함수와 기계학습 하이퍼파라미터 튜닝을 포함한 다양한 환경에서 평가함.

제안 방법

• 인구 기반 최적화를 부분적으로 관찰 가능한 마르코프 결정 과정(POMDP)으로 모델링하여, 관련 최적화 작업의 분포에서 탐색 정책을 메타학습할 수 있도록 함.
• 학습된 최적화기의 정책을 매개변수화하기 위해 딥 순환 신경망을 사용하여 내부 상태를 유지하고 시간이 지남에 따라 행동을 적응시킬 수 있도록 함.
• 확률적 블랙박스 알고리즘의 성능에 기반한 새로운 메타손실 함수를 설계하여, 학습된 최적화기가 작업 간 일반화를 향상시키고 샘플 효율성을 높이도록 유도함.
• 메타최적화 과정에서 목적 함수의 기울기를 계산하지 않고도 엔드 투 엔드 학습이 가능하도록 유전자 알고리즘을 사용해 정책 네트워크를 훈련함.
• 프레임워크는 함수 변환에 대해 불변이며, 각 단계에서 해답의 상대적 순위에만 의존하므로, 강건성과 일반화 성능을 향상시킴.
• 다양한 블랙박스 최적화 작업, 예를 들어 다모드 함수와 기계학습 모델의 하이퍼파라미터 튜닝에 대해 평가되었으며, 새로운 작업에 대해 하이퍼파라미터 튜닝이 필요 없음.

실험 결과

연구 질문

• RQ1 메타학습이 관련 최적화 작업 간 일반화되는 인구 기반의 블랙박스 최적화기를 효과적으로 학습하는 데 적용될 수 있는가?
• RQ2 POMDP 기반의 공식화가 표준 메타학습 접근법에 비해 블랙박스 최적화에서 더 나은 적응성과 일반화를 가능하게 하는가?
• RQ3 학습된 최적화기가 작업 특화 미세조정 없이 CMA-ES와 같은 최신 일반 최적화 알고리즘보다 더 높은 샘플 효율성과 더 나은 성능을 달성할 수 있는가?
• RQ4 다양한 글로벌 구조 특성을 가진 다모드 함수 유형에 대해 학습된 최적화기는 얼마나 잘 일반화되는가?
• RQ5 기계학습 모델의 실제 하이퍼파라미터 튜닝 시나리오에서 학습된 최적화기는 베이스라인을 초월할 수 있는가?

주요 결과

• 학습된 최적화기 LPBO는 Lunacek bi-Rastrigin 함수에서 최대 100% 성공률, Schwefel 함수에서 80% 성공률를 기록하여 수렴 속도 면에서 CMA-ES를 뛰어넘음.
• SVM, FC-Net, XGBoost의 하이퍼파라미터 튜닝에서 LPBO는 CMA-ES보다 약 2배 빠른 속도를 기록했으며, 특히 높은 차원(예: XGBoost의 경우 8D)에서 두드러짐.
• 적절한 글로벌 구조를 가진 다모드 함수에서는 LPBO가 CMA-ES와 무작위 탐색보다 뚜렷이 뛰어난 성능을 보였으며, 특히 차원 2, 5, 10에서 두드러짐.
• 약한 글로벌 구조를 가진 함수에서는 차원 2에서 LPBO가 CMA-ES와 거의 유사한 성능를 보였고, 더 쉬운 목표 함수에서는 더 높은 샘플 효율성을 보였음.
• 다양한 최적화 작업 간에 미세조정 없이도 강력한 제로샷 일반화 성능를 보였음.
• 메타손실 함수는 학습된 최적화기가 탐색 행동을 동적으로 적응시켜 탐색과 이용의 균형을 외부 메커니즘(예: 재시작, 다양성 유지) 없이도 성공적으로 조정하도록 유도함.