[논문 리뷰] Synthetic Returns for Long-Term Credit Assignment

David Raposo, Samuel Ritter외 6명|arXiv (Cornell University)|2021. 02. 24.

Reinforcement Learning in Robotics참고 문헌 24인용 수 12

한 줄 요약

이 논문은 강화학습에서 장기적 보상 할당 문제를 개선하기 위해 과거 상태와 먼 미래 보상 간의 직접적 연관성을 모델링함으로써 상태에 기반한 학습(사용자 정의: SA)을 제안한다. 이를 통해 보상의 '합성 수익률'(SR)을 계산할 수 있으며, 이는 상태가 미래 보상에 기여하는 정도를 추정하는 데 사용된다. 표준 시간차분석(TD) 학습과 결합할 경우, SR을 보완한 에이전트는 이전 최고 성능에 비해 아케이드 스키잉에서 25배 빠르게 학습을 완료하며, 지연된 보상 환경에서 뛰어난 샘플 효율성과 해석 가능성(의미 있는 보상 할당)을 입증한다.

ABSTRACT

Since the earliest days of reinforcement learning, the workhorse method for assigning credit to actions over time has been temporal-difference (TD) learning, which propagates credit backward timestep-by-timestep. This approach suffers when delays between actions and rewards are long and when intervening unrelated events contribute variance to long-term returns. We propose state-associative (SA) learning, where the agent learns associations between states and arbitrarily distant future rewards, then propagates credit directly between the two. In this work, we use SA-learning to model the contribution of past states to the current reward. With this model we can predict each state's contribution to the far future, a quantity we call "synthetic returns". TD-learning can then be applied to select actions that maximize these synthetic returns (SRs). We demonstrate the effectiveness of augmenting agents with SRs across a range of tasks on which TD-learning alone fails. We show that the learned SRs are interpretable: they spike for states that occur after critical actions are taken. Finally, we show that our IMPALA-based SR agent solves Atari Skiing -- a game with a lengthy reward delay that posed a major hurdle to deep-RL agents -- 25 times faster than the published state-of-the-art.

연구 동기 및 목표

• 장기적인 지연 보상이 존재하는 강화학습 환경에서 표준 시간차분석(TD) 학습이 고분산과 긴 시퀀스에서의 열악한 보상 할당으로 인해 어려움을 겪는 문제를 해결한다.
• 보상 전파를 흐리게 만드는 관련 없는 중간 이벤트가 존재하는 환경에서 TD 학습의 한계를 극복한다.
• 장기간의 지연과 관련 없는 이벤트가 존재하더라도, 미래 보상에서 과거 상태로 직접 보상 할당을 수행할 수 있는 방법을 개발한다.
• 희소하고 지연된 보상이 존재하는 과제, 예를 들어 아케이드 스키잉과 같은 과제에서 딥 강화학습 에이전트가 효율적으로 학습할 수 있도록 한다.
• 딥 강화학습에서 보상 할당의 샘플 효율성과 해석 가능성(해석 가능한 보상 할당)을 향상시킨다.

제안 방법

• 과거 상태가 미래 보상에 미치는 영향을 모델링하는 메모리 기여 함수 c(s_t)를 학습하기 위해 게이트드 순환 구조를 사용한다.
• 현재 타임스텝의 보상을 기준선 b(s_t)와 과거 상태의 기여도 c(s_t)의 합으로 예측함으로써 합성 수익률 추정치를 형성한다.
• 수익률 신호를 개별 과거 상태의 기여도로 분해함으로써 단계별 역전파 없이도 직접적인 보상 할당을 가능하게 한다.
• 표준 TD 학습에 합성 수익률(SR)을 통합하여, 정책 최적화를 위한 대체 수익률 신호로 사용한다.
• 에피소딕 메모리를 사용해 상태 표현을 저장하고, 보상 할당 과정에서 과거 상태를 재활용할 수 있도록 한다.
• 기존의 에이전트(예: IMPALA)에 합성 수익률을 통합하여 아키텍처의 대대적인 수정 없이도 장수평 과제에서 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 장기간의 지연과 관련 없는 이벤트가 존재하더라도, 상태 기반 학습이 미래 보상과 떨어져 있는 과거 상태에 대해 효과적으로 보상 할당을 수행할 수 있는가?
• RQ2 합성 수익률의 사용이 지연된 보상을 가진 딥 강화학습 에이전트의 샘플 효율성을 향상시키는가?
• RQ3 학습된 합성 수익률이 특히 중요한 행동 주변에서 상태의 중요도를 의미 있는 지표로 해석할 수 있는가?
• RQ4 SR을 보완한 에이전트는 아케이드 스키잉에서 Agent57과 같은 최고 수준의 에이전트와 비교해 학습 속도와 성능 면에서 어떻게 비교되는가?
• RQ5 이 방법은 아케이드 스키잉을 넘어서 다양한 장기 보상 할당 과제에 얼마나 일반화되는가?

주요 결과

• SR을 보완한 IMPALA 에이전트는 아케이드 스키잉에서 인간 수준의 성능을 달성하지만, 합성 수익률 없이 기반선으로 사용된 IMPALA 에이전트는 학습에 실패한다.
• SR을 보완한 에이전트는 이전에 발표된 최고 수준의 에이전트인 Agent57보다 25배 적은 환경 단계를 사용해 아케이드 스키잉을 해결한다.
• 합성 수익률은 중요한 행동 직후에 발생하는 상태에서 급격히 증가하여, 의미 있는 보상 할당과 해석 가능성(의미 있는 보상 할당)을 입증한다.
• 중간에 관련 없는 이벤트나 노이즈가 존재하더라도, 이 방법은 장기간의 지연 동안도 효과적으로 보상 할당을 수행한다.
• 기본적인 강화학습 에이전트 아키텍처를 변경하지 않아도 샘플 효율성이 향상되며, 기존의 딥 강화학습 프레임워크와 뛰어난 호환성을 보인다.
• 강력한 성능를 보이지만, 시드 변동성과 하이퍼파라미터 민감도가 뚜렷하여 내재된 강건성 향상 여지가 있음을 시사한다.