[논문 리뷰] Discriminative Particle Filter Reinforcement Learning for Complex Partial Observations

Xiao Ma, Péter Karkus외 3명|arXiv (Cornell University)|2020. 02. 23.

Reinforcement Learning in Robotics참고 문헌 43인용 수 23

한 줄 요약

이 논문은 잠재 상태에 대한 믿음을 명시적으로 추적하여 관련이 없는 시각적 특징을 모델링할 필요 없이 부분 관측 강화 학습(POMDP RL) 프레임워크인 판별형 입자 필터 강화 학습(DPFRL)을 제안한다. DPFRL는 다양한 시각적 관측이 있는 환경에서 상태 공간이 복잡한 Flickering Atari Games 및 더 복잡한 새로운 벤치마크인 Natural Flickering Atari Games에서 최고 성능을 기록하며, Habitat 데이터를 사용한 실제 시각적 탐색 작업에서도 뛰어난 성능을 보였다.

ABSTRACT

Deep reinforcement learning is successful in decision making for sophisticated games, such as Atari, Go, etc. However, real-world decision making often requires reasoning with partial information extracted from complex visual observations. This paper presents Discriminative Particle Filter Reinforcement Learning (DPFRL), a new reinforcement learning framework for complex partial observations. DPFRL encodes a differentiable particle filter in the neural network policy for explicit reasoning with partial observations over time. The particle filter maintains a belief using learned discriminative update, which is trained end-to-end for decision making. We show that using the discriminative update instead of standard generative models results in significantly improved performance, especially for tasks with complex visual observations, because they circumvent the difficulty of modeling complex observations that are irrelevant to decision making. In addition, to extract features from the particle belief, we propose a new type of belief feature based on the moment generating function. DPFRL outperforms state-of-the-art POMDP RL models in Flickering Atari Games, an existing POMDP RL benchmark, and in Natural Flickering Atari Games, a new, more challenging POMDP RL benchmark introduced in this paper. Further, DPFRL performs well for visual navigation with real-world data in the Habitat environment.

연구 동기 및 목표

• 복잡한 시각적 관측이 존재하는 환경에서 부분 관측 하에 의사결정을 내리는 데 도전한다.
• 입자 필터에서 생성형 관측 모델의 한계를 극복한다. 이러한 모델은 관련이 없는 특징까지 모두 모델링해야 하여 표본 복잡도를 증가시킨다.
• 과제에 관련된 특징에만 집중하는, 미분 가능하고 엔드 투 엔드로 학습 가능한 믿음 추적 메커니즘을 개발하여 표본 효율성을 향상시킨다.
• 순열 불변성과 계산 효율성을 갖춘 MGF 기반 특징을 사용해 새로운 믿음 표현 방식을 제안한다.
• 합성 벤치마크(Flickering Atari Games)와 더 현실적인 새로운 벤치마크(Natural Flickering Atari Games)에서 뛰어난 성능을 입증한다.

제안 방법

• 신경망 정책에 미분 가능한 입자 필터를 통합하여 믿음을 가중치가 부여된 잠재 입자 집합으로 표현한다.
• 생성형 관측 모델 대신 신경망으로 학습된 판별형 호환성 함수를 중요도 가중치로 사용하여 과제에 관련된 특징에만 집중한다.
• 관측 조건부 전이 모델을 사용하여 입자 상태를 업데이트하며, 정책과 함께 엔드 투 엔드로 동시에 학습한다.
• 입자 믿음을 요약하기 위해 MGF 기반 특징을 제안하여 순열 불변성과 미분 가능성을 확보하고 고차원 통계 모멘트를 포괄한다.
• 표준 강화 학습 손실을 사용해 전체 시스템을 엔드 투 엔드로 학습하며, 별도의 사전 학습이나 보조 목표 없이 진행한다.
• 비모수 베이즈 필터(중요도 가중치가 부여된 입자 필터)를 사용해 시간에 따라 믿음을 유지하고 업데이트함으로써 부분 관측에 대한 명시적 추론을 가능하게 한다.

실험 결과

연구 질문

• RQ1 복잡한 부분 관측 하에서 엔드 투 엔드 학습이 가능한 판별형 입자 필터가 기존의 생성형 모델보다 성능이 뛰어나게 되는가?
• RQ2 믿음 표현에 MGF 기반 특징을 사용할 경우, 평균 집계나 RNN 기반 요약과 비교해 정책 학습 성능이 향상되는가?
• RQ3 실제 시각적 노이즈와 복잡한 관측이 존재하는 더 도전적인 새로운 벤치마크에서 DPFRL은 이전 최고 성능 모델보다 어떻게 성능을 내는가?
• RQ4 각 구성 요소(판별형 업데이트, MGF 특징, 입자 수)가 복잡한 시각적 과제에서 전체 성능에 기여하는 정도는 어떠한가?
• RQ5 실제 센서 데이터를 사용하는 Habitat 환경에서 DPFRL은 실제 시각적 탐색 과제에 일반화 가능한가?

주요 결과

• DPFRL은 Flickering Atari Games 벤치마크에서 최고 성능을 기록하며, 모든 게임에서 평균 수익이 높게 나타났다.
• 새로 도입된 Natural Flickering Atari Games 벤치마크에서 DPFRL는 최고 성능을 기록했으며, Pong에서는 15.65 ± 1.99의 수익을 기록해 가장 뛰어난 베이스라인을 초월했다.
• 절단 실험 결과, DPFRL-generative(생성형 관측 모델 사용)는 DPFRL에 비해 성능이 크게 열등했으며, 특히 Pong에서 -20.21 대비 15.65로 큰 격차를 보여 판별형 학습의 우수성을 확인했다.
• 입자 수가 1개인 DPFRL-P1은 성능이 열악하여 복잡한 믿음 분포를 효과적으로 표현하기 위해 다수의 입자가 필요함을 시사했다.
• MGF 기반 특징은 평균 집계(DPFRL-mean)와 RNN 기반 요약(DPFRL-GRUmerge)보다 뛰어난 성능을 보였으며, Pong와 Centipede처럼 높은 수준의 믿음 표현이 필요한 과제에서 특히 두각을 나타냈다.
• Habitat 시각적 탐색 과제에서 DPFRL는 실제 데이터에 대한 강력한 일반화 능력을 보였으며, 실제 센서 노이즈와 시각적 복잡성에 대해 뛰어난 내구성을 입증했다.