[논문 리뷰] Faster Improvement Rate Population Based Training

Valentin Dalibard, Max Jaderberg|arXiv (Cornell University)|2021. 09. 28.

Machine Learning and Data Classification참고 문헌 21인용 수 4

한 줄 요약

이 논문은 훈련 향상률 기반의 새로운 적합도 지표를 사용하여 이른바 이른바 과도한 하이퍼파rameter 선택을 방지하는 개선된 PBT 알고리즘인 Faster Improvement Rate Population Based Training (FIRE PBT)을 제안한다. 학습률 스케줄의 서로 다른 단계를 고려해 인구를 부분 집합으로 나누어 최적화함으로써, 표준 PBT보다 우수한 최종 성능을 달성하고 ImageNet 및 강화학습 벤치마크에서 수작업으로 조정된 학습률 스케줄과 동등한 성능을 보였다.

ABSTRACT

The successful training of neural networks typically involves careful and time consuming hyperparameter tuning. Population Based Training (PBT) has recently been proposed to automate this process. PBT trains a population of neural networks concurrently, frequently mutating their hyperparameters throughout their training. However, the decision mechanisms of PBT are greedy and favour short-term improvements which can, in some cases, lead to poor long-term performance. This paper presents Faster Improvement Rate PBT (FIRE PBT) which addresses this problem. Our method is guided by an assumption: given two neural networks with similar performance and training with similar hyperparameters, the network showing the faster rate of improvement will lead to a better final performance. Using this, we derive a novel fitness metric and use it to make some of the population members focus on long-term performance. Our experiments show that FIRE PBT is able to outperform PBT on the ImageNet benchmark and match the performance of networks that were trained with a hand-tuned learning rate schedule. We apply FIRE PBT to reinforcement learning tasks and show that it leads to faster learning and higher final performance than both PBT and random hyperparameter search.

연구 동기 및 목표

• 인구 기반 훈련(PBT)이 장기적 일반화보다 단기 성능 향상을 우선시하는 한계를 해결하기 위해.
• 훈련 중 향상률에 중점을 두어 최종 성능이 뛰어난 하이퍼파rameter 스케줄을 식별하는 방법을 개발하기 위해.
• 이미지 분류 및 강화학습에서 수작업으로 조정된 학습률 스케줄의 성능을 따라하거나 초월하는 자동 하이퍼파rameter 튜닝을 가능하게 하기 위해.
• 수작업 튜닝에 의존도를 줄이기 위해 스케일링 가능하고 병렬 처리가 가능한 최적화 프레임워크를 구축하여 효과적인 하이퍼파rameter 스케줄을 자율적으로 학습시키기 위해.

제안 방법

• FIRE PBT는 서로소인 부분 집합으로 나누어진 인구를 사용하며, 각 부분 집합은 검증 성능 향상률 기반의 적합도 함수로 훈련된다.
• 적합도 지표는 훈련 시간 단위당 모델의 향상 속도를 평가하여, 초기 단계에서 더 급격한 향상 곡선을 보이는 모델을 선호한다.
• 각 부분 집합은 서로 다른 하이퍼파rameter 스케줄로 훈련되며, 학습 곡선의 각 단계(예: 높은 학습률 대 감쇠된 학습률)에 집중한다.
• 성능이 열 劣한 구성원이 동일한 부분 집합 내 상위 성능을 보이는 동료의 가중치와 하이퍼파rameter를 복사할 수 있도록 절단 선택기(Truncation selector)를 사용한다.
• 학습률 및 신뢰 영역 크기와 같은 하이퍼파rameter는 사전 정의된 스케일링 요소를 가진 곱셈 노이즈를 사용하여 독립적으로 변형된다.
• 평가자(_evaluators_)는 성능을 모니터링하고 정기적인 간격으로 이용 및 탐색 단계를 유도하여, 훈련을 방해하지 않으면서도 지속적인 적응을 보장한다.

실험 결과

연구 질문

• RQ1 향상률 기반의 적합도 지표가 하이퍼파라미터 최적화에서 표준 PBT의 즉각적인 성능 기반 적합도보다 우수한가?
• RQ2 FIRE PBT는 ImageNet에서 수작업으로 조정된 학습률 스케줄과 동등하거나 그 이상의 성능을 보이는 하이퍼파라미터 스케줄을 학습하는가?
• RQ3 FIRE PBT는 PBT 및 무작위 탐색과 비교해 강화학습에서 샘플 효율성과 최종 성능을 향상시키는가?
• RQ4 FIRE PBT의 부분 집합 분해 전략은 복잡한 다단계 하이퍼파라미터 스케줄 탐색을 향상시키는가?

주요 결과

• ImageNet 벤치마크에서 FIRE PBT는 테스트 정확도 76.5%를 달성하여 PBT의 71.7%를 능가하고, 수작업으로 조정된 학습률 스케줄의 76.6% 정확도와 동등한 성능을 보였다.
• Ant-v1 및 Humanoid-v1에서의 강화학습에서, FIRE PBT는 PBT 및 무작위 탐색보다 더 빠른 학습 속도와 높은 최종 성능을 보였으며, 최상위 에피소드 리워드 분포를 통해 이를 입증했다.
• 향상률을 적합도 지표로 사용함으로써, PBT가 학습률을 조기에 감소시켜 최종 성능이 열 劣하는 경향을 효과적으로 완화시켰다.
• FIRE PBT는 다양한 환경과 하이퍼파라미터 설정에서 뛰어난 안정성을 보였으며, 추가적인 하이퍼파라미터 튜닝 없이도 일관된 성능 향상을 유지했다.