[논문 리뷰] An Information-Theoretic Optimality Principle for Deep Reinforcement Learning

Felix Leibfried, Jordi Grau-Moya외 1명|arXiv (Cornell University)|2017. 08. 06.

Reinforcement Learning in Robotics참고 문헌 50인용 수 16

한 줄 요약

이 논문은 정보이론적 최적성 원리를 제안하여 딥 강화학습에서 Q-값 과소추정 문제를 줄인다. 이 원리는 정보이론에서 유도된 내재된 페널티 신호를 도입함으로써 작동하며, 이 페널티의 강도를 제어하기 위해 라그랑주 승수를 동적으로 스케줄링함으로써 DQN, 더블 DQN, 소프트 Q-학습보다 뛰어난 샘플 효율성과 성능을 달성한다. 이는 아타리 게임에서 표준 및 듀얼링 네트워크 아키텍처 모두에서 검증되었다.

ABSTRACT

We methodologically address the problem of Q-value overestimation in deep reinforcement learning to handle high-dimensional state spaces efficiently. By adapting concepts from information theory, we introduce an intrinsic penalty signal encouraging reduced Q-value estimates. The resultant algorithm encompasses a wide range of learning outcomes containing deep Q-networks as a special case. Different learning outcomes can be demonstrated by tuning a Lagrange multiplier accordingly. We furthermore propose a novel scheduling scheme for this Lagrange multiplier to ensure efficient and robust learning. In experiments on Atari, our algorithm outperforms other algorithms (e.g. deep and double deep Q-networks) in terms of both game-play performance and sample complexity. These results remain valid under the recently proposed dueling architecture.

연구 동기 및 목표

• 고차원 상태 공간에서 샘플 효율성을 떨어뜨리는 Q-값 과소추정 문제를 해결하기 위해.
• 기존에 표본형 강화학습에서 사용된 정보이론 원리를 고차원 및 연속형 환경의 딥 함수 근사기로 확장하기 위해.
• 조정 가능한 하이퍼파라미터를 통해 DQN을 특수 케이스로 포함하는 통합 최적화 프레임워크를 개발하기 위해.
• 내재된 페널티 신호의 동적 스케줄링을 통해 샘플 효율성과 최종 성능을 향상시키기 위해.
• 다양한 아타리 환경에서, 듀얼링 아키텍처를 포함하여 방법의 유효성을 검증하기 위해.

제안 방법

• 현재 정책과 기준 정책 간의 발산을 기반으로 한 정보이론적 페널티를 포함한 새로운 최적화 목표를 도입한다.
• 라그랑주 승수를 사용하여 내재된 페널티의 강도를 제어함으로써 DQN에서 더 보수적인 Q-값 추정까지의 스펙트럼을 구현한다.
• 시간에 따른 벨먼 오차의 변화에 기반해 라그랑주 승수를 동적으로 스케줄링하여 탐색과 안정성의 균형을 이룬다.
• 딥 Q-네트워크(DQNs)와 듀얼링 아키텍처에 적용하여 환경 간 일관된 성능 향상을 달성한다.
• 값의 우월성을 사용해 페널티 신호를 안정적으로 계산함으로써 학습 안정성을 향상시킨다.
• 에피소드 보상에 대해 지수 평균을 적용하여 학습 곡선의 명확한 시각화와 비교를 가능하게 한다.

실험 결과

연구 질문

• RQ1 고차원 강화학습 환경에서 딥 함수 근사기로 정보이론 원리를 효과적으로 적용하여 Q-값 과소추정을 줄일 수 있는가?
• RQ2 정책 발산 기반의 동적 페널티 신호를 도입함으로써 샘플 효율성과 최종 성능이 향상되는가?
• RQ3 조정 가능한 라그랑주 승수를 통해 DQN과 다른 Q-학습 변종을 하나의 최적화 프레임워크로 통합할 수 있는가?
• RQ4 더블 DQN과 소프트 Q-학습과 같은 최신 기준 모델과 비교했을 때, 성능과 샘플 복잡도 측면에서 어떻게 성능을 내는가?
• RQ5 제안된 정보이론적 페널티와 함께 듀얼링 아키텍처가 성능 향상에 더 기여하는가?

주요 결과

• DIN(Dynamic Information-theoretic Network)으로 불리는 제안된 방법은 20개의 아타리 게임에서 중앙값 정규화 점수 측면에서 DQN과 더블 DQN을 모두 능가하며, 성능과 샘플 효율성 측면에서 뚜렷한 향상을 보였다.
• 로드 러너 게임에서 DIN은 약 2×10⁷번의 학습 반복 안에 최고 성능에 도달했으며, 더블 DQN은 3×10⁷번, 표준 DQN은 5×10⁷번이 필요했다.
• 라그랑주 승수 λ의 사전 튜닝 없이도 소프트 Q-학습(SQL)보다 뛰어난 성능을 보였으며, 로드 러너에서 약 500만 번의 반복 안에 SQL의 최고 성능을 능가했다.
• DIN이 생성한 Q-값 추정치는 DQN과 더블 DQN보다 항상 낮았으며, 이는 과소추정 편향이 감소했음을 확인한다.
• 듀얼링 아키텍처는 DIN과 결합했을 때 성능 향상을 더욱 높였으며, 현대 딥 강화학습 아키텍처와의 호환성과 상호보완성을 입증했다.
• 라그랑주 승수의 동적 스케줄링은 더 안정적이고 효율적인 학습을 이끌었으며, 부드러운 학습 곡선과 더 빠른 수렴을 통해 이를 뒷받침했다.