[논문 리뷰] Time Limits in Reinforcement Learning

Fabio Pardo, Arash Tavakoli외 2명|arXiv (Cornell University)|2017. 12. 01.

Reinforcement Learning in Robotics참고 문헌 32인용 수 13

한 줄 요약

이 논문은 시간 제한이 있는 에피소드를 위한 강화 학습에서 두 가지 핵심 개선 사항을 제안한다: 시간 인지 기능은 남은 시간을 입력으로 통합하여 시간 제한 작업에서 마르코프 성질을 유지하고, 부분 에피소드 부트스트랩(PEB)은 시간 제한에 의한 종료와 환경적 종료를 구분하여 안정적인 가치 함수 학습을 가능하게 한다. 이 두 방법은 표본화된 강화 학습 및 딥 강화 학습 벤치마크 전반에서 정책 성능과 학습 안정성에 크게 기여한다.

ABSTRACT

In reinforcement learning, it is common to let an agent interact for a fixed amount of time with its environment before resetting it and repeating the process in a series of episodes. The task that the agent has to learn can either be to maximize its performance over (i) that fixed period, or (ii) an indefinite period where time limits are only used during training to diversify experience. In this paper, we provide a formal account for how time limits could effectively be handled in each of the two cases and explain why not doing so can cause state aliasing and invalidation of experience replay, leading to suboptimal policies and training instability. In case (i), we argue that the terminations due to time limits are in fact part of the environment, and thus a notion of the remaining time should be included as part of the agent's input to avoid violation of the Markov property. In case (ii), the time limits are not part of the environment and are only used to facilitate learning. We argue that this insight should be incorporated by bootstrapping from the value of the state at the end of each partial episode. For both cases, we illustrate empirically the significance of our considerations in improving the performance and stability of existing reinforcement learning algorithms, showing state-of-the-art results on several control tasks.

연구 동기 및 목표

• 시간 제한을 잘못 다룰 경우 발생하는 상태 별칭과 학습 불안정성 문제를 해결하기 위해.
• 에피소드 기반 강화 학습에서 시간 제한에 의한 종료와 환경적 종료를 명시적으로 구분하기 위한 공식화를 수행하기 위해.
• 남은 시간을 에이전트의 입력에 포함시켜 유한 시간 창 내에서 보상 최대화를 위한 신용 할당과 가치 함수 추정을 향상시키기 위해.
• 시간 제한에 의한 종료 상태에서의 부트스트랩을 통해 시간 제한이 없는 작업에서의 학습 안정성과 성능을 향상시키기 위해.
• 표준 제어 벤치마크에서 표본화된 Q-학습과 프록시멀 피드백 최적화(PPO)에 대해 이러한 방법의 효과성을 입증하기 위해.

제안 방법

• 남은 시간을 나타내는 정규화된 스칼라를 에이전트의 관측에 추가하여 시간 인지 기능을 도입함으로써, 시간 제한 작업에서 마르코프 성질을 유지한다.
• 유한 시간 창의 수익을 명시적으로 모델링하기 위해 수정된 수익 공식을 사용한다: $ G_{t:T} = \sum_{k=1}^{T-t} \gamma^{k-1} R_{t+k} $, 여기서 $ \gamma = 1 $.
• 시간 제한에 의한 종료일 경우, 마지막 상태의 가치를 사용하여 부분 에피소드 부트스트랩(PEB)을 구현함으로써, 환경적 동역학에 의한 종료와를 구분한다.
• PPO의 이점 추정을 수정하여 시간 제한에 의해 종료될 경우 마지막 상태의 가치를 사용함으로써 일관된 부트스트랩을 보장한다.
• 표준 MuJoCo 및 OpenAI Gym 환경에 두 기법을 적용하고, 표준 하이퍼파rameter를 사용한 표본화된 Q-학습과 PPO를 사용한다.
• 경험 재생 버퍼를 사용하며, 버퍼 크기 조정에 주의를 기울임으로써, PEB가 버퍼 크기 증가로 인한 성능 저하를 완화함을 보여준다.

실험 결과

연구 질문

• RQ1 시간 제한이 있는 강화 학습 작업에서 남은 시간 정보를 생략할 경우 정책 학습과 신용 할당에 어떤 영향을 미치는가?
• RQ2 시간 제한이 적절히 다루어지지 않을 경우 경험 재생이 왜 불안정성과 최적화되지 않은 정책을 초래하는가?
• RQ3 시간 제한에 의한 종료 상태에서의 부트스트랩은 부분 에피소드가 존재하는 시간 제한이 없는 작업에서 가치 함수 추정을 향상시킬 수 있는가?
• RQ4 시간 인지 기능이 고정된 시간 창 내에서 보상 최대화가 필요한 유한 시간 창 작업에서 성능 향상에 얼마나 기여하는가?
• RQ5 다양한 강화 학습 알고리즘과 환경에서 시간 인지 기능과 부분 에피소드 부트스트랩은 성능 및 안정성 측면에서 어떻게 비교되는가?

주요 결과

• 시간 인지 기능을 가진 에이전트는 남은 시간을 정확히 고려함으로써 표준 에이전트보다 유한 시간 창 작업에서 뛰어난 성능을 보이며, 목표에 도달할 수 없는 상황에서는 멈춰 있는 전략을 학습한다.
• T=3인 두 목표 그리드월드에서 시간 인지 Q-학습은 최적의 유한 시간 창 정책을 학습하지만, 표준 에이전트는 낭비적인 행동을 피하지 못한다.
• 경험 재생 버퍼 크기 증가로 인한 성능 저하가 없는 것을 확인함에 따라, 부분 에피소드 부트스트랩은 표본화된 Q-학습에서 성능 저하를 제거한다. 이는 T=200인 결정론적 그리드월드에서 입증되었다.
• 표준 PPO는 시간 제한 환경에서 경험 재생 버퍼 크기가 증가할수록 성능이 크게 저하되는 반면, 부분 에피소드 부트스트랩을 적용한 PPO는 안정적이고 높은 성능을 유지한다.
• 시간 인지 PPO는 에이전트 입력에서 시간 창을 정확히 모델링함으로써 여러 MuJoCo 제어 작업에서 최고 성능을 달성한다.
• 시간 인지 기능과 부분 에피소드 부트스트랩의 조합은 표본화된 강화 학습과 딥 강화 학습 환경 전반에서 더 안정적이고 샘플 효율적인 학습을 이끈다.