[논문 리뷰] An Asymptotically Optimal Multi-Armed Bandit Algorithm and Hyperparameter Optimization

Yimin Huang, Yujun Li외 3명|arXiv (Cornell University)|2020. 07. 11.

Advanced Bandit Algorithms Research참고 문헌 70인용 수 6

한 줄 요약

이 논문은 누적 누적 손실을 최소화하기 위해 관측치의 부분 집합을 사용하여 초모수를 평가하는 점차적으로 최적의 다수의 손잡이 기반 알고리즘인 서브샘플링(Sub-Sampling, SS)을 제안한다. 이 알고리즘은 베이지안 최적화와 통합되어 BOSS를 형성하며, 신경망 아키텍처 검색, 데이터 증강, 객체 검출, 강화 학습 등 다양한 분야에서 더 높은 샘플 효율성과 강건성을 보이며 뛰어난 성능을 보인다.

ABSTRACT

The evaluation of hyperparameters, neural architectures, or data augmentation policies becomes a critical model selection problem in advanced deep learning with a large hyperparameter search space. In this paper, we propose an efficient and robust bandit-based algorithm called Sub-Sampling (SS) in the scenario of hyperparameter search evaluation. It evaluates the potential of hyperparameters by the sub-samples of observations and is theoretically proved to be optimal under the criterion of cumulative regret. We further combine SS with Bayesian Optimization and develop a novel hyperparameter optimization algorithm called BOSS. Empirical studies validate our theoretical arguments of SS and demonstrate the superior performance of BOSS on a number of applications, including Neural Architecture Search (NAS), Data Augmentation (DA), Object Detection (OD), and Reinforcement Learning (RL).

연구 동기 및 목표

• 딥러닝에서 흔히 발생하는 큰 검색 공간에서의 효율적이고 강건한 초모수 평가 과제를 해결하기 위해.
• 서브샘플링을 통해 누적 손실를 최소화하면서도 조기 정지 기능을 제공하는 손잡이 알고리즘 개발을 위해.
• 서브샘플링 접근법을 베이지안 최적화와 통합하여 초모수 최적화에서의 대체 모델 학습을 향상시키기 위해.
• SS의 이론적 최적성과 BOSS의 경험적 우수성을 다양한 기계학습 작업에서 검증하기 위해.

제안 방법

• 학습 데이터의 부분 집합을 사용해 초모수의 잠재력을 추정함으로써 평가 비용을 줄이는 서브샘플링(SS) 알고리즘을 제안한다.
• 이론적 분석을 통해 SS가 지수족 가정 하에 누적 손실 측면에서 점차적으로 최적임을 증명한다.
• SS의 손실 분석을 뒷받침하기 위해 지수족 분포에 대한 새로운 체르노프 한계를 유도한다.
• SS를 베이지안 최적화와 통합하여 고품질의 서브샘플 평가 결과를 대체 모델에 반영하는 하이브리드 알고리즘인 BOSS를 개발한다.
• SS 내부에서 누적 손실 최소화를 우선순위로 삼는 동시에 성능 기반 선택보다는 예산 할당 전략을 성공적 할반딩 기반으로 수정한다.
• 서브샘플된 보상의 尾確率를 유계화하고 손실 한계를 유도하기 위해 대칭률 함수 $ I_k(a) $ 를 사용한다.

실험 결과

연구 질문

• RQ1 서브샘플링 기반의 손잡이 알고리즘이 초모수 평가에서 누적 손실 측면에서 점차적으로 최적일 수 있는가?
• RQ2 초모수 최적화에서 성공적 할반딩 대비 서브샘플링이 강건성과 효율성 향상에 어떻게 기여하는가?
• RQ3 서브샘플링을 베이지안 최적화와 통합함으로써 초모수 검색의 샘플 효율성이 얼마나 향상되는가?
• RQ4 기존의 HyperBand나 BOHB와 비교해 어떤 상황에서 제안된 방법이 더 우수한 성능을 보이는가?

주요 결과

• 지수족 가정 하에 이론적으로 서브샘플링(SS) 알고리즘이 누적 손실 최소화 측면에서 점차적으로 최적임이 입증되었다.
• SS와 베이지안 최적화를 통합한 BOSS는 신경망 아키텍처 검색, 데이터 증강, 객체 검출, 강화 학습 등 다양한 벤치마크에서 뛰어난 성능을 보였다.
• 경험적 결과로 보아, SS는 성공적 할반딩 기반 방법보다 더 빠르고 신뢰성 있게 최적의 초모수 설정을 식별하였다.
• 특히 고차원 검색 공간에서 서브샘플링을 통해 분산을 줄여 초모수 평가의 강건성을 향상시켰다.
• SS의 이론적 손실 한계는 지수족에 대한 새로운 체르노프 한계를 통해 도출되었으며, 이는 기존의 손잡이 손실 분석 연구를 확장한다.