[논문 리뷰] Regret Minimization for Partially Observable Deep Reinforcement Learning

Peter Jin, Kurt Keutzer외 1명|arXiv (Cornell University)|2017. 10. 31.

Reinforcement Learning in Robotics참고 문헌 44인용 수 21

한 줄 요약

이 논문은 마르코프 상태를 필요로 하지 않고 대체로 반복적 인과적 회귀 최소화를 사용하여 이점 유사 함수를 학습하는 딥 강화 학습 알고리즘인 이점 기반 회귀 최소화(ARM)를 제안한다. 가치 기반 방법은 부분 관측에서 실패하고, 정책 기반 경량 방법은 샘플 비효율성 문제를 겪는 데 비해, ARM는 도움, 마인크래프트에서의 3D 탐색, 그리고 가림 또는 제한된 프레임 기록이 있는 펭귄과 같은 부분 관측 시각 작업에서 뛰어난 샘플 효율성과 강건성을 달성한다.

ABSTRACT

Deep reinforcement learning algorithms that estimate state and state-action value functions have been shown to be effective in a variety of challenging domains, including learning control strategies from raw image pixels. However, algorithms that estimate state and state-action value functions typically assume a fully observed state and must compensate for partial observations by using finite length observation histories or recurrent networks. In this work, we propose a new deep reinforcement learning algorithm based on counterfactual regret minimization that iteratively updates an approximation to an advantage-like function and is robust to partially observed state. We demonstrate that this new algorithm can substantially outperform strong baseline methods on several partially observed reinforcement learning tasks: learning first-person 3D navigation in Doom and Minecraft, and acting in the presence of partially observed objects in Doom and Pong.

연구 동기 및 목표

• 비마르코프 관측이 존재하는 딥 강화 학습에서의 부분 관측 문제를 해결하기 위해, 관측이 마르코프가 아니며 전통적인 가치 기반 방법이 실패하는 상황을 다루는 것.
• 가치 기반 방법의 샘플 효율성과 정책 기반 경량 방법의 강건성을 비마르코프 설정에서 통합하는 것.
• 마르코프 상태 가정이나 순환 신경망을 필요로 하지 않는 모델-자유 알고리즘을 개발하는 것.
• 가림이 있거나 관측 기록이 제한된 시각적 작업, 예를 들어 1인칭 탐색 및 가림이 있는 아케이드 게임에서의 성능 향상

제안 방법

• 알고리즘은 누적 클리핑된 이점 함수를 학습하여 반사적 회귀를 근사함으로써 부분 관측 상황에서도 강건한 학습을 가능하게 한다.
• 분산 감소를 위해 평균 Q-학습에서 영감을 얻은 수정된 누적 Q-함수 갱신을 사용한다.
• 현재 관측만을 사용하여 순환 신경망이나 고정 길이 관측 기록을 피함으로써, 회귀 최소화 원리를 활용한다.
• 시간적 차이 방법의 양의 형태와 유사한 가치 함수 갱신 규칙을 사용하지만, 이는 회귀 최소화 이론에 기반한다.
• 리play 버퍼를 통해 오프-폴리시 데이터를 사용하여 이점 함수를 갱신함으로써 샘플 효율성을 향상시킨다.
• 딥 신경망을 사용하여 관측에서 이점 추정치로 매핑하는 데 있어 종단 간(end-to-end) 학습을 수행한다.

실험 결과

연구 질문

• RQ1 마르코프 상태를 가정하지 않고도 높은 샘플 효율성을 유지하면서 부분 관측에 강건한 딥 강화 학습 알고리즘이 가능할 수 있는가?
• RQ2 비마르코프 시각 환경에서 회귀 최소화는 전통적인 가치 기반 및 정책 기반 경량 방법과 비교해 어떻게 성능을 내는가?
• RQ3 ARM는 3D 탐색 및 가림이 있는 아케이드 게임을 포함한 다양한 부분 관측 작업에 얼마나 잘 일반화되는가?
• RQ4 증가하는 부분 관측 상황에서 ARM은 DQN과 TRPO에 비해 샘플 효율성과 최종 성능 측면에서 뛰어나게 성능을 내는가?

주요 결과

• Doom Corridor+ 탐색 작업에서 ARM은 DQN과 TRPO를 크게 앞서며, 특히 가림 상황에서 DQN의 성능이 급격히 떨어지는 상황에서도 뛰어난 성능을 보였다.
• 가림 또는 제한된 프레임 기록이 있는 펭귄에서 ARM은 DQN보다 더 빠르고 안정적으로 수렴했으며, TRPO는 샘플 효율성이 떨어졌다.
• ARM는 펭귄과 Corridor+ 작업의 모든 변형에서 강력한 성능 유지를 보이며 부분 관측에 대한 강건성을 입증했다.
• 비편향된 n단계 리턴 추정기(n=5)를 사용한 상황에서도 ARM은 DQN보다 비마르코프 관측에 더 강건했으며, 이는 내재된 강건성을 시사한다.
• Doom과 마인크래프트에서의 1인칭 3D 탐색 작업에서 ARM은 뛰어난 샘플 효율성과 최종 성능을 달성하여 강력한 기준 모델을 능가했다.