[논문 리뷰] Fast Efficient Hyperparameter Tuning for Policy Gradients

Supratik Paul, Vitaly Kurin외 1명|arXiv (Cornell University)|2019. 02. 18.

Machine Learning and Data Classification참고 문헌 51인용 수 14

한 줄 요약

이 논문은 오프-폴리시 중요도 샘플링을 사용하여 단일 학습 실행 동안 핵심 정책 그래เดียน트 하이퍼파rameter(예: 학습률 및 GAE 파라미터)를 동적으로 조정하는 샘플 및 계산적으로 효율적인 방법인 '런타임 하이퍼파ram터 최적화(HOOF)'를 제안한다. HOOF는 그리드 서치 및 고정 하이퍼파ram터 기반 모델을 능가하며, 하나의 환경 상호작용 런만으로도 더 빠른 학습과 뛰어난 성능을 달성한다.

ABSTRACT

The performance of policy gradient methods is sensitive to hyperparameter settings that must be tuned for any new application. Widely used grid search methods for tuning hyperparameters are sample inefficient and computationally expensive. More advanced methods like Population Based Training that learn optimal schedules for hyperparameters instead of fixed settings can yield better results, but are also sample inefficient and computationally expensive. In this paper, we propose Hyperparameter Optimisation on the Fly (HOOF), a gradient-free algorithm that requires no more than one training run to automatically adapt the hyperparameter that affect the policy update directly through the gradient. The main idea is to use existing trajectories sampled by the policy gradient method to optimise a one-step improvement objective, yielding a sample and computationally efficient algorithm that is easy to implement. Our experimental results across multiple domains and algorithms show that using HOOF to learn these hyperparameter schedules leads to faster learning with improved performance.

연구 동기 및 목표

• 강화학습에서 기존 하이퍼파라미터 최적화 방법의 높은 샘플 및 계산 비용을 해결하기 위해.
• 비정적 환경에서 일반적으로 최적화되지 않는 고정 값이 아닌, 동적 하이퍼파라미터 스케줄을 학습하는 방법을 개발하기 위해.
• 다중 환경 상호작용이 필요 없이 단일 학습 런에서 수집된 데이터만을 사용하여 효과적인 하이퍼파라미터 최적화를 달성하기 위해.
• 특히 행동 정책와 평가 정책 간의 분리가 심해지는 경우에도, 오프-폴리시 가치 추정의 안정성과 신뢰성을 확보하기 위해.
• 일阶 정책 그래데이언트 방법에서 단순한 KL 제약 조건이 중요도 샘플링 추정치를 안정화하는 데 충분하며, 복잡한 이阶 방법이 필요 없음을 입증하기 위해.

제안 방법

• HOOF는 기존 정책 그래데이언트 방법에서 수집된 트레이젝터리를 활용하여 다양한 하이퍼파라미터 설정(예: 학습률, γ, λ)을 가진 후보 정책을 생성한다.
• 동일한 데이터를 현재 정책이 수집한 자료를 사용하여, 가중 중요도 샘플링(WIS)을 통한 오프-폴리시 평가를 적용하여 각 후보 정책의 수익을 추정한다.
• 이 방법은 근사적으로 가장 높은 추정 수익을 가진 후보 정책으로 정책을 갱신함으로써, 동적 하이퍼파라미터 스케줄을 학습하는 방식이다.
• 중요도 샘플링 추정치의 안정성과 정보성 확보를 위해 정책 갱신을 제한하기 위해 KL 발산 제약 조건을 적용한다.
• 알고리즘은 단일 학습 런에서 작동하며, 모든 환경 상호작용을 재사용하며, 표준 정책 그래데이언트 하이퍼파라미터 외에 추가 하이퍼파라미터가 필요하지 않다.
• 이 방법은 일반적이며 A2C, TNPG, TRPO와 같은 다양한 정책 그래데이언트 알고리즘에 적용 가능하다.

실험 결과

연구 질문

• RQ1 추가적인 환경 상호작용이 필요 없이 단일 학습 런 내에서 하이퍼파라미터 최적화를 효율적으로 수행할 수 있는가?
• RQ2 단순한 KL 제약 조건만으로도 일阶 정책 그래데이언트 방법에서 오프-폴리시 중요도 샘플링을 안정화시킬 수 있는가?
• RQ3 학습률 및 GAE 파라미터와 같은 하이퍼파라미터를 동적으로 적응시킬 경우, 고정 설정보다 더 빠른 학습과 향상된 성능을 달성할 수 있는가?
• RQ4 샘플 효율성과 최종 성능 측면에서 HOOF는 그리드 서치 및 기타 하이퍼파라미터 최적화 기반 모델과 비교해 어떻게 성능을 내는가?
• RQ5 제안된 방법은 최적화기의 변경(예: RMSProp 대비 SGD)에 대해 강건한가?

주요 결과

• HOOF는 동일한 수의 학습 런을 사용할 때 그리드 서치보다 뛰어난 성능을 달성하며, HOOF가 사용한 샘플 수의 10배 이상을 소비해야 그 성능에 도달한다.
• HalfCheetah, Hopper, Ant, Walker와 같은 환경에서 A2C 및 TRPO와 같은 고정 하이퍼파라미터 기반 모델보다 HOOF가 뚜렷이 뛰어난 성능을 보였다.
• TNPG 설정에서 HOOF-TNPG는 더 빠르게 학습하며, 모든 테스트 환경에서 기본 하이퍼파라미터를 가진 TRPO와 동등하거나 그 이상의 성능을 달성했다.
• HOOF가 학습한 하이퍼파라미터(예: δ, γ, λ)는 환경에 따라 유의미하게 변화하며, 고정 값이 아닌 동적 적응이 필요함을 시사한다.
• KL 제약 조건은 중요도 샘플링 추정치의 안정성에 결정적인 역할을 하며, 이 제약 조건이 없을 경우 WIS 추정치가 신뢰할 수 없어지고 학습이 실패한다.
• SGD를 사용할 경우에도 HOOF는 효과적으로 작동하며, 최적화기의 선택에 대해 강건함을 보였고, A2C 기반 모델은 SGD 하에서 학습에 실패하는 반면 HOOF는 성능을 유지한다.