[논문 리뷰] How to Make Deep RL Work in Practice

N. Lakshmana Rao, Elie Aljalbout외 2명|arXiv (Cornell University)|2020. 10. 25.

Reinforcement Learning in Robotics참고 문헌 25인용 수 7

한 줄 요약

이 논문은 딥 강화학습(Deep RL) 성능에 크게 영향을 미치는 핵심 구현 세부사항—초기화, 입력 정규화, 적응형 학습 기법—을 조사한다. Orthogonal 초기화, Advantage 정규화, KL-Cutoff와 같은 기법들이 특히 PPO에서 안정적이고 샘플 효율적인 학습을 위해 필수적임을 입증하며, 연속 제어 벤치마크에서 재현 가능하고 최첨단 성능을 달성하기 위한 경험적 지침을 제공한다.

ABSTRACT

In recent years, challenging control problems became solvable with deep reinforcement learning (RL). To be able to use RL for large-scale real-world applications, a certain degree of reliability in their performance is necessary. Reported results of state-of-the-art algorithms are often difficult to reproduce. One reason for this is that certain implementation details influence the performance significantly. Commonly, these details are not highlighted as important techniques to achieve state-of-the-art performance. Additionally, techniques from supervised learning are often used by default but influence the algorithms in a reinforcement learning setting in different and not well-understood ways. In this paper, we investigate the influence of certain initialization, input normalization, and adaptive learning techniques on the performance of state-of-the-art RL algorithms. We make suggestions which of those techniques to use by default and highlight areas that could benefit from a solution specifically tailored to RL.

연구 동기 및 목표

• 성능에 큰 영향을 미치는 구현 세부사항을 특정하여 딥 RL의 재현성 위기를 해결한다.
• 일반적으로 RL에서 기본으로 사용되는 지도학습 기법들이 학습 안정성과 수렴에 어떤 영향을 미치는지 조사한다.
• 실용자들이 신뢰할 수 있는 학습을 위해 어떤 초기화, 정규화, 적응형 학습 방법을 사용할 것인지에 대한 경험적 지침을 제공한다.
• KL-Cutoff 및 Advantage 정규화와 같은 특정 구현 선택이 PPO에서 안정적 학습을 위해 필수적임을 강조한다.
• 성능에 영향을 미치는 모든 구현 세부사항을 공개함으로써 딥 RL 연구의 투명성을 증진한다.

제안 방법

• 연속 제어 벤치마크(예: Half-Cheetah, Ant, Walker2d)에서 최첨단 RL 알고리즘(PPO, TD3, SAC)을 대상으로 통제된 아블레이션 연구를 수행한다.
• 다양한 초기화 기법(Xavier, Kaiming, LeCun, Orthogonal)의 영향을 분석하며, 초기 행동 분포와 탐색 행동에 중점을 둔다.
• 정책 및 가치 네트워크에 대한 입력 정규화(예: 러닝 평균 및 분산)를 테스트하여 알고리즘 간 성능을 비교한다.
• PPO에서의 적응형 학습 기법을 조사: 학습률 스케줄링(LRS), 이점 정규화(AN), KL-컷오프, KL-스톱핑, 기울기 클리핑.
• 통계적 유의성 검정과 신뢰구간을 사용하여 구성 간 성능 차이를 검증한다.
• 전체 구현 및 평가 파이프라인을 오픈소스로 공개하여 재현 가능성과 커뮤니티 재사용을 보장한다.

실험 결과

연구 질문

• RQ1 다양한 신경망 초기화 기법이 딥 RL에서의 초기 행동 분포와 초기 탐색 행동에 어떤 영향을 미치는가?
• RQ2 입력 정규화는 Q-학습 기반 알고리즘(TD3, SAC)과 정책 그래디언트 기반 알고리즘(PPO, TRPO) 간에 성능 향상에 얼마나 기여하는가?
• RQ3 학습률 스케줄링, 이점 정규화, KL-클리핑 중 어떤 적응형 기법이 PPO에서 안정적이고 샘플 효율적인 학습을 위해 필수적인가?
• RQ4 일반적으로 사용되는 베이스라인(예: OpenAI Baselines)이 최적 성능을 내지 못하는 이유는 무엇이며, 어떤 구현 세부사항이 누락되어 있는가?
• RQ5 LRS, AN, KL-Cutoff와 같은 적응형 기법의 조합이 일관되게 원하는 KL-발산 임계값을 유지하고 최종 성능을 향상시키는가?

주요 결과

• Orthogonal 초기화는 모든 평가된 알고리즘과 환경에서 다른 초기화 기법보다 뛰어난 성능을 보이며, 가장 안정적이고 샘플 효율적인 학습을 제공한다.
• 입력 정규화는 TRPO 성능을 크게 향상시키지만, Q-학습 기반 알고리즘인 TD3와 SAC에서는 효과가 없거나 오히려 성능을 떨어뜨릴 수 있다.
• PPO는 적응형 기법 없이 학습이 불가능하다: 학습률 스케줄링과 이점 정규화 없이 대부분의 환경에서 학습 진전이 관찰되지 않는다.
• KL-Cutoff는 유일하게 원하는 KL-발산 임계값(0.01)을 성공적으로 유지하며, 기존 베이스라인과 동등하거나 더 나은 성능을 낸다. 반면 KL-스톱핑은 평균 KL을 증가시키고 학습 속도를 늦춘다.
• 이점 정규화는 KL-발산의 학습 스파이크를 걸러내며, 학습률 스케줄링은 평균 KL을 감소시키고, 두 기법의 조합은 가장 안정적인 학습을 이끈다.
• 학습률 스케줄링, 이점 정규화, KL-Cutoff의 조합은 PPO에서 최고의 최종 성능을 낸다. 이는 이 기법들이 선택 사항이 아니라 신뢰할 수 있는 학습을 위해 필수적인 구성 요소임을 보여준다.