[논문 리뷰] TD or not TD: Analyzing the Role of Temporal Differencing in Deep Reinforcement Learning

Artemij Amiranashvili, Alexey Dosovitskiy외 2명|arXiv (Cornell University)|2018. 06. 04.

Neural dynamics and brain function참고 문헌 22인용 수 8

한 줄 요약

이 논문은 깊이 있는 강화 학습에서 시간 차이(TD) 학습의 역할을 재평가하며, 감각적으로 복잡한 3차원 환경에서 유한한 수평선 몬테카를로(MC) 방법과의 비교를 통해 이를 수행한다. 고전적인 강화 학습 이론과는 달리, 희박한 보상, 지연된 피드백, 높은 감각적 복잡도를 동반한 과제에서 MC 방법은 TD 기반 접근법보다 우월하거나 동등한 성능을 보이며, 특히 원시 픽셀에서부터 깊이 있는 인식 네트워크를 훈련시킬 때 두드러진다.

ABSTRACT

Our understanding of reinforcement learning (RL) has been shaped by theoretical and empirical results that were obtained decades ago using tabular representations and linear function approximators. These results suggest that RL methods that use temporal differencing (TD) are superior to direct Monte Carlo estimation (MC). How do these results hold up in deep RL, which deals with perceptually complex environments and deep nonlinear models? In this paper, we re-examine the role of TD in modern deep RL, using specially designed environments that control for specific factors that affect performance, such as reward sparsity, reward delay, and the perceptual complexity of the task. When comparing TD with infinite-horizon MC, we are able to reproduce classic results in modern settings. Yet we also find that finite-horizon MC is not inferior to TD, even when rewards are sparse or delayed. This makes MC a viable alternative to TD in deep RL.

연구 동기 및 목표

• 기존 결과가 표본 또는 선형 함수 근사기반에 기반한 바, 현대적인 딥 강화 학습에서 시간 차이(TD) 학습의 지배적 위치를 재고한다.
• 비선형 함수 근사기와 고차원 시각 입력을 갖는 딥 강화 학습 환경에서, 고전적으로 TD가 MC 추정보다 우월하다는 이론이 유지되는지 조사한다.
• 보상의 희박성, 보상 지연, 감각적 복잡도, 종단 상태 성질이 학습 성능에 미치는 영향을 분리하여 분석한다.
• 알고리즘적 및 환경적 요인을 제어함으로써, 특히 유한한 수평선 MC가 딥 강화 학습에서 TD의 실질적인 대안이 될 수 있는지 평가한다.
• 왜 이론적 기대와는 다르게 MC 방법이 복잡한 3차원 환경에서 성공하는지 이해한다.

제안 방법

• 보상의 희박성, 보상 지연, 감각적 복잡도, 종단 상태 역학 등 핵심 강화 학습 과제를 고립시킨 제어된 환경을 설계하였다.
• 정확한 비교를 보장하기 위해 통합 소프트웨어 프레임워크 내에서 TD 기반 및 유한한 수평선 MC 기반 딥 Q-학습 및 A3C 알고리즘을 구현하였다.
• 값 함수를 표현하기 위해 깊이 신경망을 사용하였으며, 학습 신호는 보스팅된 예측(TD) 또는 기저 진실 수익률(MC)에 기반하였다.
• MC 학습의 예측 수평선을 다양하게 조정하여 롤아웃 길이가 성능에 미치는 영향을 연구하였다.
• 격자 환경, 아케이드 게임, 다양한 감각적 난이도를 갖는 몰입형 3D ViZDoom 환경에서 성능을 평가하였다.
• 원시 픽셀에서부터 의미 있는 표현을 학습할 수 있는지 평가하기 위해, MC 타겟을 사용해 인식 네트워크를 엔드 투 엔드로 훈련시켰다.

실험 결과

연구 질문

• RQ1 비선형 함수 근사기와 고차원 시각 입력을 갖는 딥 강화 학습 환경에서, 고전적으로 TD가 MC 학습보다 열등하다는 이론이 유지되는가?
• RQ2 보상의 희박성과 지연은 유한한 수평선 몬테카를로와 TD 기반 방법의 성능에 어떻게 영향을 미치는가?
• RQ3 감각적 복잡도는 딥 강화 학습에서 MC와 TD의 상대적 성능에 어느 정도의 영향을 미치는가?
• RQ4 MC 방법은 복잡한 환경에서 원시 감각 입력으로부터 깊이 있는 인식 네트워크를 효과적으로 훈련시킬 수 있는가?
• RQ5 TD와 MC 신호의 조합(예: TD(λ)에서와 같이)는 현대적인 딥 강화 학습 환경에서 어떤 영향을 미치는가?

주요 결과

• 유한한 수평선 몬테카를로 학습은 특히 희박하고 지연된 보상이 존재하는 몰입형 3차원 환경에서 TD 기반 방법보다 우월하거나 동등한 성능을 보였다.
• 평균적으로 44단계 간격으로 건강 키트가 제공되는 매우 희박한 설정에서, 32단계 수평선을 갖는 Q_MC는 여전히 의미 있는 성능을 달성했으며, A3C를 능가하고 20단계 TD 에이전트와 동등한 성능을 보였다.
• ViZDoom 환경에서 Q_MC는 20단계 TD 에이전트보다 더 나은 인식 네트워크를 학습했으며, 누적 보상 수준이 높고 건강 상태가 향상된 것으로 나타났다.
• 감각적 복잡도는 TD 기반 방법보다 MC 방법에 더 덜 영향을 미쳤다; Q_MC는 다중 텍스처 작업에서 시각적 난이도 증가에 더 강건했다.
• TD 방법에서의 긴 롤아웃(예: 20단계)은 성능 향상에 기여했으며, MC 성능에 가까워졌으며, 이는 TD가 더 긴 계획 수평선에서 유리하다는 가설을 뒷받침한다.
• TD와 MC 신호의 혼합(예: TD(λ)에서와 같이)은 n-스텝 Q-학습과 A3C 양쪽 모두에서 최고의 성능을 달성했으며, 고전적 결과와 일치하지만 이제는 딥 강화 학습 환경에서 검증되었다.