[논문 리뷰] Deep Reinforcement and InfoMax Learning

Bogdan Mazoure, Rémi Tachet des Combes외 3명|arXiv (Cornell University)|2020. 06. 12.

Reinforcement Learning in Robotics인용 수 10

한 줄 요약

이 논문은 강화학습 에이전트가 순차적 표현 간 상호정보량 최대화를 통해 미래 상태를 예측하도록 훈련시켜 성능을 향상시키는 시간적 딥 인포맥스(tDIM) 목적함수를 제안한다. C51에 통합되었을 때, 이 방법은 지속적 학습과 ProcGen 환경에서 성능 향상을 보이며, 미래 예측 표현이 일반화 능력과 적응 능력을 향상시킨다는 것을 입증한다.

ABSTRACT

We begin with the hypothesis that a model-free agent whose representations are predictive of properties of future states (beyond expected rewards) will be more capable of solving and adapting to new RL problems. To test that hypothesis, we introduce an objective based on Deep InfoMax (DIM) which trains the agent to predict the future by maximizing the mutual information between its internal representation of successive timesteps. We test our approach in several synthetic settings, where it successfully learns representations that are predictive of the future. Finally, we augment C51, a strong RL baseline, with our temporal DIM objective and demonstrate improved performance on a continual learning task and on the recently introduced Procgen environment.

연구 동기 및 목표

• 대부분의 강화학습 에이전트가 예상 보상에만 집중하는 데에 기인한 한계를 해결하기 위해, 표현 학습에 미래 상태 예측 능력을 통합함으로써 표준 강화학습 에이전트의 성능 향상 여부를 조사한다.
• 표현 학습을 통해 미래 상태를 예측하도록 훈련시키는 것이 새로운 강화학습 문제를 해결하고 적응하는 데에 도움이 되는지 조사한다.
• 연속된 내부 표현 간 상호정보량 최대화를 활용하여 환경의 시간적 구조를 포착하는 모델-프리 모델 기반의 강화학습 목적함수를 개발한다.
• 이러한 예측 표현이 복잡하고 동적인 환경에서 샘플 효율성과 일반화 능력을 향상시키는지 평가한다.

제안 방법

• 시간적 딥 인포맥스(tDIM)의 변형을 제안하여, 시간 t에서의 에이전트 내부 표현과 시간 t+1에서의 미래 상태 표현 간의 상호정보량을 최대화한다.
• 모멘텀 인코더를 사용하여 훈련을 안정화시키고, 에이전트의 표현이 미래 상태를 예측하도록 유도하는 대비 목적함수를 정의한다.
• tDIM 목적함수를 C51 DQN 알고리즘에 정규화 요소로 통합하여 기대 수익과 미래 예측을 동시에 최적화한다.
• 표준 강화학습 손실과 tDIM 대비 손실을 조합하여 종합적으로 훈련함으로써, 정책이 환경의 동역학에 대한 예측 정보를 포함하는 표현을 학습할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 미래 상태를 예측하는 표현을 학습하는 것이 표준 보상 기반 학습을 초월하여 강화학습의 일반화 능력을 향상시키는가?
• RQ2 순차적 표현 간 상호정보량 최대화를 통합함으로써 샘플 효율성과 지속적 학습 작업 성능이 향상되는가?
• RQ3 tDIM 목적함수는 ProcGen과 같은 희박 보상 및 복잡한 환경에서 성능에 어떤 영향을 미치는가?
• RQ4 예측 표현은 새로운 작업에 대한 적응 능력을 높여 기존 작업의 기억을 상실하는 현상(카오스터로픽 플로싱)을 줄이는 데 얼마나 기여하는가?

주요 결과

• tDIM 목적함수는 합성 환경에서 미래 상태를 예측할 수 있는 표현을 학습시키는 데 성공적으로 작용하여, 미래 예측이 표현 품질을 향상시킨다는 가설을 확인한다.
• C51에 통합되었을 때, tDIM가 향상된 에이전트는 기준 모델 대비 ProcGen 환경에서 뛰어난 성능을 기록하며 다양한 환경에서의 일반화 능력 향상을 입증한다.
• tDIM가 강화된 에이전트는 지속적 학습 벤치마크에서 성능 향상을 보이며, 연속된 작업 간 기억 유지와 적응 능력 향상을 나타낸다.
• 이 방법은 샘플 효율성을 향상시키고 카오스터로픽 플로싱을 감소시키며, 예측 표현이 더 견고하고 일반화 가능한 정책을 지원한다는 것을 시사한다.