[논문 리뷰] Quantity vs. Quality: On Hyperparameter Optimization for Deep Reinforcement Learning

Lars Hertel, Pierre Baldi외 1명|arXiv (Cornell University)|2020. 07. 29.

Advanced Bandit Algorithms Research참고 문헌 34인용 수 4

한 줄 요약

이 논문은 딥 강화 학습에서 하이퍼파rameter 최적화를 조사하며, 수량 중심의 방법(예: 연속 할빙)과 반복을 통한 품질 중심 접근 방식, 베이지안 최적화를 비교한다. 연구 결과, 노이즈에 강건한 확보 함수를 사용하는 베이지안 최적화(qNEI)가 모든 방법보다 뛰어나며, 정렬 및 반복 평가 전략은 랜덤 시드에 관계없이 성능 향상이 없음을 확인하였다.

ABSTRACT

Reinforcement learning algorithms can show strong variation in performance between training runs with different random seeds. In this paper we explore how this affects hyperparameter optimization when the goal is to find hyperparameter settings that perform well across random seeds. In particular, we benchmark whether it is better to explore a large quantity of hyperparameter settings via pruning of bad performers, or if it is better to aim for quality of collected results by using repetitions. For this we consider the Successive Halving, Random Search, and Bayesian Optimization algorithms, the latter two with and without repetitions. We apply these to tuning the PPO2 algorithm on the Cartpole balancing task and the Inverted Pendulum Swing-up task. We demonstrate that pruning may negatively affect the optimization and that repeated sampling does not help in finding hyperparameter settings that perform better across random seeds. From our experiments we conclude that Bayesian optimization with a noise robust acquisition function is the best choice for hyperparameter optimization in reinforcement learning tasks.

연구 동기 및 목표

• 딥 강화 학습에서 하이퍼파rameter 최적화가 많은 설정을 탐색하는 것(수량 중심)을 우선시할 것인지, 반복을 통해 측정 품질을 향상시키는 것(품질 중심)을 우선시할 것인지 평가한다.
• 랜덤 시드 간 성능 변동성이 하이퍼파rameter 선택 및 최적화 결과에 미치는 영향을 평가한다.
• 관측 노이즈가 높을 경우, 모델리스 방법(예: 랜덤 서치, 성공적 할빙)과 모델 기반의 베이지안 최적화 중 어느 것이 더 효과적인지 확인한다.
• 하이퍼파arameter 설정당 반복 평가를 통해 랜덤 시드 간 하이퍼파arameter 선택의 견고성이 향상되는지 조사한다.
• 딥 강화 학습 과제에서 랜덤 시드 간 일관된 성능을 달성하기 위해 가장 효과적인 하이퍼파arameter 최적화 전략을 규명한다.

제안 방법

• 노이즈에 강건한 확보 함수를 사용하는 베이지안 최적화를 적용하여 하이퍼파arameter 평가의 불확실성을 모델링한다. 특히 qNEI(준뉴턴 기대 향상)를 사용한다.
• 네 가지 주요 하이퍼파arameter 최적화 전략을 비교한다: 랜덤 서치, 성공적 할빙(ASHA), 기대 향상(EI) 및 하한 신뢰구간(LCB)을 사용하는 베이지안 최적화(반복 평가 유무 포함).
• 이러한 방법들을 연속 제어 과제인 카트폴 밸런싱과 인버티드 펜듈럼 스윙업에 적용하여 PPO2를 튜닝한다. 하이퍼파arameter로는 로그-학습률과 로그-엔트로피 계수를 포함한다.
• 하이퍼파arameter 설정당 반복 평가(K=1, 3, 5)를 통해 진정한 기대 보상 추정을 하며, 15회의 하이퍼파arameter 최적화 런에 걸쳐 평균 성능을 산출한다.
• 고정된 계산 예산을 적용하여 각 런당 25, 50, 100개의 에이전트를 평가하며, 최고로 발견된 설정에 대해 20회의 학습 런 동안 중앙값 및 평균 보상을 보고한다.
• 상자 그림과 통계적 요약을 사용하여 메서드 및 과제 간 성능 분포를 비교 분석한다.

실험 결과

연구 질문

• RQ1 고정된 랜덤 시드 간 분산이 클 경우, 성공적 할빙을 통한 하이퍼파arameter 설정 정렬이 베이지안 최적화보다 더 높은 성능을 내는가?
• RQ2 하이퍼파arameter 설정당 반복 평가 수를 늘리면, 딥 강화 학습에서 하이퍼파arameter 선택의 견고성과 정확도가 향상되는가?
• RQ3 랜덤 시드 변동으로 인해 관측이 노이즈가 많을 경우, 베이지안 최적화의 다양한 확보 함수(EI vs. LCB vs. qNEI)는 어떻게 성능을 내는가?
• RQ4 일반화 성능을 높이기 위해 랜덤 시드 간 성능이 일관되게 유지되는 설정을 찾는 데 목적이 있을 경우, 모델리스 및 모델 기반 하이퍼파arameter 최적화 방법 간에 유의미한 성능 차이가 있는가?
• RQ5 베이지안 최적화에서 반복 평가를 통해 랜덤 시드 간 평균 성능이 높은 설정을 선택하는 데 도움이 되는가?

주요 결과

• 노이즈에 강건한 qNEI 확보 함수를 사용하는 베이지안 최적화(BoTorch-qNEI)가 카트폴 및 인버티드 펜듈럼 스윙업 과제에서 모두 최고의 중앙값 및 평균 성능을 달성하였다.
• 인버티드 펜듈럼 스윙업 과제에서 BoTorch-qNEI는 100회의 평가 후 평균 보상 -387.3을 기록하여, GPyOpt-LCB(-442.4) 및 Random Search x5(-444.6)를 크게 앞서며 모든 다른 방법보다 뛰어난 성능을 보였다.
• 계산 예산이 동일한 조건에서 단일 평가를 수행하는 랜덤 서치가 3회 또는 5회 반복 평가를 수행하는 랜덤 서치보다 성능이 뛰어나, 반복 평가가 성능 향상에 기여하지 않는다는 것을 시사한다.
• 성공적 할빙(ASHA)은 베이지안 최적화를 능가하지 못했으며, 특히 높은 분산 조건에서 성능이 일관되지 않았다.
• 반복 평가가 베이지안 최적화 성능 향상에 기여하지 않았으며, GPyOpt-EI x3 및 GPyOpt-LCB x3는 단일 평가 버전과 비교해 성능 향상이 없었다.
• BoTorch-qNEI의 결과 분포는 항상 우수했고, 특히 50회 및 100회 평가 후 다른 메서드와의 겹침이 적었으며, 이는 견고성과 신뢰성의 우수성을 시사한다.