[논문 리뷰] Recall Traces: Backtracking Models for Efficient Reinforcement Learning

Anirudh Goyal, Philémon Brakel외 6명|arXiv (Cornell University)|2018. 04. 02.

Reinforcement Learning in Robotics참고 문헌 48인용 수 25

한 줄 요약

이 논문은 강화학습에서 샘플 효율성을 향상시키기 위해 고보상 상태로 이르는 합성 궤적을 생성하는 데 사용되는 학습된 백트래킹 모델을 사용하는 Recall Traces를 제안한다. 고가치 상태에 이르는 과거의 (상태, 행동) 쌍에 대한 사후 분포에서 샘플링하여, 다양한 환경에서 온-폴리시 및 오프-폴리시 알고리즘 모두에서 학습 속도를 가속화하고, 더 적은 환경 상호작용으로 더 빠른 수렴과 향상된 성능을 달성한다.

ABSTRACT

In many environments only a tiny subset of all states yield high reward. In these cases, few of the interactions with the environment provide a relevant learning signal. Hence, we may want to preferentially train on those high-reward states and the probable trajectories leading to them. To this end, we advocate for the use of a backtracking model that predicts the preceding states that terminate at a given high-reward state. We can train a model which, starting from a high value state (or one that is estimated to have high value), predicts and sample for which the (state, action)-tuples may have led to that high value state. These traces of (state, action) pairs, which we refer to as Recall Traces, sampled from this backtracking model starting from a high value state, are informative as they terminate in good states, and hence we can use these traces to improve a policy. We provide a variational interpretation for this idea and a practical algorithm in which the backtracking model samples from an approximate posterior distribution over trajectories which lead to large rewards. Our method improves the sample efficiency of both on- and off-policy RL algorithms across several environments and tasks.

연구 동기 및 목표

• 희박하거나 약한 보상이 주어지는 환경에서 고보상 상태가 드물기 때문에 강화학습의 샘플 효율성을 향상시키는 것.
• 모델리스 강화학습 방법이 광범위한 환경 상호작용을 요구하는 한계를 해결하기 위해 비지도 전이 데이터를 활용하는 것.
• 고가치 상태에서 역행 경로를 시뮬레이션하여 유용한 궤적을 발견함으로써 효율적인 탐색을 가능하게 하는 방법을 개발하는 것.
• TRPO 및 SAC와 같은 기존의 온-폴리시 및 오프-폴리시 강화학습 알고리즘과 백트래킹 메커니즘을 원활하게 통합하는 것.
• 훈련된 백트래킹 모델에서 생성된 리콜 트레이스가 랜덤 또는 기본 방법보다 학습 속도와 최종 성능에서 뛰어나다는 것을 입증하는 것.

제안 방법

• 미래의 고가치 상태를 주어졌을 때 이전의 (상태, 행동) 쌍을 예측하는 백트래킹 모델을 훈련하여 $ p(s_t, a_t | s_{t+1}) $ 를 모델링한다.
• 에이전트 상호작용에서 수집된 오프라인 경험 데이터를 기반으로 모델을 훈련하여 고보상 상태로 이르는 타당한 궤적을 재구성하도록 학습한다.
• 리콜 트레이스는 고가치 상태에서 시작하여 백트래킹 모델에서 샘플링하여 생성되며, 좋은 상태에서 끝나는 합성 궤적을 생성한다.
• 변분 추론 해석을 통해 백트래킹 모델을 고보상으로 이르는 궤적에 대한 사후 분포를 근사하는 것으로 해석한다.
• 생성된 리콜 트레이스는 온-폴리시(예: TRPO) 및 오프-폴리시(예: SAC) 알고리즘 모두에서 리プレイ 버퍼 또는 정책 업데이트에 보완 자료로 사용된다.
• 고가치 상태는 가치 함수 추정치 또는 목표 생성 모델을 통해 식별되어 자동으로 트레이스 생성을 가능하게 한다.

실험 결과

연구 질문

• RQ1 고보상 상태로 이르는 과거 궤적을 재구성하는 백트래킹 모델이 강화학습의 샘플 효율성을 향상시키는가?
• RQ2 리콜 트레이스를 사용할 경우, 무작위 또는 기본 경험 재생 방법에 비해 학습 속도와 최종 성능에서 어떤 차이가 있는가?
• RQ3 백트래킹 모델은 온-폴리시 및 오프-폴리시 강화학습 알고리즘과 효과적으로 통합되어 학습 속도를 가속화하는가?
• RQ4 트레이스 길이와 백트래킹 모델의 품질이 학습 성능에 어떤 영향을 미치는가?
• RQ5 이 방법은 희박한 보상이 주어지는 다양한 환경, 특히 연속 제어 및 탐색 작업에서 일반화 가능한가?

주요 결과

• 백트래킹 모델은 샘플 효율성을 크게 향상시켜, U-Maze Ant 작업에서 리콜 트레이스 없이 275단계가 필요한 것을 리콜 트레이스를 사용하면 155단계 만에 63%의 상태 공간 커버리지를 달성한다.
• 로봇 운동 제어 작업에서는 모든 벤치마크에서 TRPO를 초월하며, Half-Cheetah, Ant, Walker, Hopper에서 더 빠른 학습 속도와 더 나은 최종 성능을 기록한다.
• SAC와 조합했을 때, 모든 작업에서 학습 속도와 최종 성능이 향상되었으며, 특히 도전적인 Ant 환경에서 가장 큰 성과 향상을 보였다.
• 절단 실험 결과, 훈련된 백트래킹 모델이 랜덤 모델보다 성능이 뛰어나며, 역동성의 학습이 중요함을 입증한다.
• 초기화 조정 값과 트레이스 길이에 대해 강건하며, 여러 랜덤 시드와 환경에서 성능 향상이 관찰되었다.
• 시각화 결과, 리콜 트레이스가 고보상 상태 근처 영역을 효과적으로 탐색하여 더 빠른 수렴과 더 넓은 상태 공간 커버리지를 가능하게 한다.