[논문 리뷰] Learning values across many orders of magnitude

Hado van Hasselt, Arthur Guez외 3명|arXiv (Cornell University)|2016. 02. 24.

Reinforcement Learning in Robotics참고 문헌 30인용 수 87

한 줄 요약

이 논문은 강화학습에서 값 함수가 수십 개의 주기적 크기를 가질 수 있도록 적응형으로 시간 차이 목표를 정규화하는 방법인 Pop-Art(Policy-Weighted Adaptive Reward Transformation)를 제안한다. 런닝 평균과 분산을 사용해 목표를 동적으로 스케일링함으로써 보상 클리핑 없이도 안정적인 학습을 가능하게 하며, 다양한 Atari 게임에서 최신 기술 수준의 성능을 달성하면서도 보상 척도가 다른 작업 간의 일반화 능력을 유지한다.

ABSTRACT

Most learning algorithms are not invariant to the scale of the function that is being approximated. We propose to adaptively normalize the targets used in learning. This is useful in value-based reinforcement learning, where the magnitude of appropriate value approximations can change over time when we update the policy of behavior. Our main motivation is prior work on learning to play Atari games, where the rewards were all clipped to a predetermined range. This clipping facilitates learning across many different games with a single learning algorithm, but a clipped reward function can result in qualitatively different behavior. Using the adaptive normalization we can remove this domain-specific heuristic without diminishing overall performance.

연구 동기 및 목표

• 다양한 강화학습 작업에서 값 함수 크기의 큰 변동으로 인한 불안정성과 하이퍼파라미터 민감도 문제를 해결하기 위해.
• 학습 목표를 왜곡시키고 질적으로 다른 정책을 유도할 수 있는 도메인 특화 보상 클리핑이 필요 없도록 하기 위해.
• 예를 들어 Atari 도메인에서와 같이 보상 척도가 매우 다른 환경 간에 단일 학습 알고리즘이 일반화될 수 있도록 하기 위해.
• 학습 전반에 걸쳐 정규화된 목표를 유지함으로써 가치 기반 딥 강화학습의 학습 안정성과 성능을 향상시키기 위해.
• DQN 이외의 분야, 예를 들어 지도 학습 및 비정적 온라인 설정에도 적용 가능한 일반적인 정규화 기법을 제공하기 위해.

제안 방법

• 지수 이동 평균를 통해 계산된 러닝 평균과 분산을 이용해 시간 차이 목표의 적응형 정규화를 제안한다.
• 추정된 평균과 표준편차를 사용해 목표를 재가중하는 변환을 도입하여 안정적이고 정규화된 범위로 유지한다.
• 실시간으로 목표 분포를 조정할 수 있는 파rameterized 변환을 활용하여 정책 업데이트에 관계없이 일관된 척도를 유지한다.
• 값 함수의 선형 변환에 대해 불변성을 유지하는 미분 가능한 업데이트 규칙을 사용하여 최적화 안정성을 향상시킨다.
• Double DQN에 적용하여 고정된 보상 클리핑 대신 적응형 정규화를 도입함으로써 다양한 게임에서 성능을 유지한다.
• 정책 업데이트 하에 정규화된 목표가 일관성을 유지함을 이론적으로 보증함으로써 수렴 안정성을 확보한다.

실험 결과

연구 질문

• RQ1 고정된 보상 클리핑에 의존하지 않고도 적응형 값 목표 정규화가 딥 강화학습의 학습 안정성과 성능 향상에 기여할 수 있는가?
• RQ2 보상 클리핑의 히우리스틱을 제거하면 다양한 환경에서 더 질적으로 우수하거나 일반화 능력이 뛰어난 정책이 도출되는가?
• RQ3 적응형 정규화를 사용할 경우 고정된 하이퍼파라미터를 가진 단일 학습 알고리즘이 보상 크기가 매우 다른 환경 간에 일반화될 수 있는가?
• RQ4 Adaptive normalization은 Atari 게임에서 샘플 효율성과 최종 성능 측면에서 고정 클리핑보다 어떻게 비교되는가?
• RQ5 가치 기반 RL에서 하이퍼파라미터 선택에 대한 민감도를 얼마나 줄일 수 있는가?

주요 결과

• Pop-Art는 30개의 Atari 게임 중 25개에서 고정 보상 클리핑을 사용한 Double DQN을 능가하며, 특히 Ms. Pac-Man와 Video Pinball와 같은 고보상 게임에서 뚜렷한 성과 향상을 보였다.
• Video Pinball에서는 Pop-Art가 309,941.90점의 원시 점수를 기록하여 클리핑을 사용한 Double DQN의 25,89.70점보다 훨씬 높았다.
• Ms. Pac-Man에서는 Pop-Art가 클리핑 기반 대비 4,963.80점으로 성과를 내며 고보상 상황에서의 학습 향상을 입증했다.
• Pop-Art는 보상이 희박하거나 음수인 게임들에서도 도메인 특화 튜닝 없이도 뛰어난 성능을 유지한다.
• 예를 들어 다른 게임에서 -10,000에서 +100,000까지의 보상 척도가 존재하는 환경에서도 보상 척도가 수십 개의 주기적 크기 범위를 가진 환경에서도 안정적인 학습을 가능하게 한다.
• 제거된 보상 클리핑과 함께 Pop-Art를 사용할 경우 일반화 능력 향상과 클리핑 기반 기준보다 정책 열화를 피할 수 있음을 확인한 아블레이션 스터디 결과가 이를 뒷받침한다.