[논문 리뷰] Model-Based Regularization for Deep Reinforcement Learning with Transcoder Networks

Felix Leibfried, Peter Vrancx|arXiv (Cornell University)|2018. 09. 06.

Reinforcement Learning in Robotics참고 문헌 40인용 수 6

한 줄 요약

이 논문은 환경 모델 예측 오차를 가치 학습 목표에 정규화 요소로 사용하여 모델 기반 정규화를 딥 Q-네트워크(DQN)에 통합하는 트랜스코더 네트워크를 제안한다. 이 방법은 20개의 Atari 게임에서 샘플 효율성과 성능을 향상시켜 중앙값으로 정규화된 점수를 우수하게 기록하고, 20개 게임 중 14개에서 바닐라 DQN을 능가한다.

ABSTRACT

This paper proposes a new optimization objective for value-based deep reinforcement learning. We extend conventional Deep Q-Networks (DQNs) by adding a model-learning component yielding a transcoder network. The prediction errors for the model are included in the basic DQN loss as additional regularizers. This augmented objective leads to a richer training signal that provides feedback at every time step. Moreover, because learning an environment model shares a common structure with the RL problem, we hypothesize that the resulting objective improves both sample efficiency and performance. We empirically confirm our hypothesis on a range of 20 games from the Atari benchmark attaining superior results over vanilla DQN without model-based regularization.

연구 동기 및 목표

• 희박한 보상 환경에서 딥 강화 학습의 샘플 비효율성 문제를 해결한다.
• 모델 예측 오차를 가치 학습 목표에 통합하여 학습 신호의 풍부성을 높인다.
• 가치 네트워크와 예측 환경 모델을 공동으로 훈련시켜 성능과 샘플 효율성을 향상시킨다.
• 정책 학습과 모델 학습을 위한 공유 파라미터 아키텍처가 더 나은 일반화와 더 빠른 수렴을 이끌어내는지 조사한다.
• 모델 기반 정규화가 고차원 제어 과제인 Atari 게임에서 우수한 성능과 더 빠른 학습을 이끌어내는지 입증한다.

제안 방법

• 가치 함수와 환경 역학을 동시에 학습하는 공유 아키텍처 트랜스코더 네트워크를 표준 DQN에 확장한다.
• 표준 DQN Q-가치 손실와 모델 예측 손실을 정규화 요소로 결합한 복합 손실 함수를 제안한다.
• 매 시간 단계에서 다음 상태와 보상에 대한 환경 모델의 예측 오차를 보조 학습 신호로 활용한다.
• Q-값 벨먼 오차와 모델 예측 오차를 동시에 최소화하는 공동 최적화 목표를 사용해 트랜스코더 네트워크를 종단 간(end-to-end)으로 훈련시킨다.
• 훈련 안정성과 데이터 효율성을 향상시키기 위해 우선순위 기반 샘플링을 사용한 경험 재생을 구현한다.
• 가치 헤드와 모델 헤드 간에 파라미터를 공유하여 파라미터 효율성과 인덕티브 바이어스 전이를 가능하게 한다.

실험 결과

연구 질문

• RQ1 모델 예측 오차는 딥 Q-학습에서 샘플 효율성을 향상시키는 효과적인 정규화 요소가 될 수 있는가?
• RQ2 가치 함수와 환경 모델을 공동으로 학습하는 것이 희박한 보상 환경에서의 Atari 게임 성능 향상에 기여하는가?
• RQ3 수렴 속도와 최종 성능 측면에서 트랜스코더 네트워크 아키텍처는 표준 DQN에 비해 어떻게 비교되는가?
• RQ4 모델 기반 정규화는 정점 성능에 도달하기 위해 필요한 환경 상호작용 횟수를 얼마나 줄이는가?
• RQ5 가치 학습과 모델 학습을 위한 공유 파라미터 아키텍처는 다양한 Atari 환경에서 일반화 성능을 유지하거나 향상시킬 수 있는가?

주요 결과

• 제안된 트랜스코더 네트워크는 20개의 Atari 게임에서 중앙값으로 인간 정규화 점수 85.0%를 기록하여 DQN 기준선(60.7%)을 크게 능가한다.
• 이 방법은 20개의 개별 Atari 게임 중 14개에서 바닐라 DQN을 능가하며, 특히 도전적인 환경인 Battle Zone(83.7% 대 20.2%)과 Crazy Climber(378.7% 대 234.3%)에서 두드러진 성과를 보였다.
• 샘플 효율성이 향상되어, 모든 5개의 개별 게임과 20개 게임의 중앙값에서 DQN보다 빠르게 정점 성능에 도달했다.
• 복합 손실 함수는 Q-값 손실에 의해 지배되며, 모델 기반 정규화는 약간이지만 효과적인 영향을 미쳐 안정적인 공동 최적화를 보여준다.
• 정확한 미래 비디오 프레임과 보상 예측이 달성되어, 모델이 의미 있는 환경 역학을 학습할 수 있음을 입증했다.
• 트랜스코더 네트워크 아키텍처는 정책 헤드와 모델 헤드 간에 파라미터를 성공적으로 공유하여 성능 저하 없이 효율적인 공동 훈련을 가능하게 했다.