[논문 리뷰] Learning Causal State Representations of Partially Observable Environments

Amy Zhang, Zachary C. Lipton외 6명|arXiv (Cornell University)|2019. 06. 25.

Reinforcement Learning in Robotics참고 문헌 68인용 수 30

한 줄 요약

이 논문은 관측이 부분적으로만 가능한 환경에서 RNN을 사용해 과거의 행동-관측 기록으로부터 미래 관측을 예측함으로써 원인 상태 표현을 학습하기 위한 기울기 기반 방법을 제안한다. 원인 상태, 이분화(simulation), 예측 상태 표현 간의 이론적 연관성을 수립하며, 학습된 표현이 증명 가능한 최적 가치 함수 하한을 갖는 효율적인 강화학습을 가능하게 한다.

ABSTRACT

Intelligent agents can cope with sensory-rich environments by learning task-agnostic state abstractions. In this paper, we propose an algorithm to approximate causal states, which are the coarsest partition of the joint history of actions and observations in partially-observable Markov decision processes (POMDP). Our method learns approximate causal state representations from RNNs trained to predict subsequent observations given the history. We demonstrate that these learned state representations are useful for learning policies efficiently in reinforcement learning problems with rich observation spaces. We connect causal states with causal feature sets from the causal inference literature, and also provide theoretical guarantees on the optimality of the continuous version of this causal state representation under Lipschitz assumptions by proving equivalence to bisimulation, a relation between behaviorally equivalent systems. This allows for lower bounds on the optimal value function of the learned representation, which is tight given certain assumptions. Finally, we empirically evaluate causal state representations using multiple partially observable tasks and compare with prior methods.

연구 동기 및 목표

• 고차원 관측이 존재하는 부분관측 환경에서 효과적이고 일반화 가능한 상태 표현을 학습하는 데 도전한다.
• 예측 상태 표현(PSRs), 이분화, 원인 추론 간 격차를 메우기 위해 원인 상태를 가장 조밀한 행동 동일성 분할로 공식화한다.
• 관측 예측에 대해 훈련된 RNN에서 근사된 원인 상태를 학습하기 위한 미분 가능하고 기울기 기반 알고리즘을 개발한다.
• 리프시츠 연속성과 이분화 거리 측도를 사용하여 학습된 표현의 최적성에 대한 이론적 보장을 제공한다.
• 이산 및 연속 잠재 상태 환경, 특히 GridWorld와 수정된 VizDoom, Atari 작업에서 이 방법의 실증적 강건성을 입증한다.

제안 방법

• 관측 시퀀스의 재구성 손실을 사용하여 행동 및 관측 기록의 역사로부터 미래 관측을 예측하도록 RNN을 훈련한다.
• 원인 상태를 미래에 대해 가장 예측력이 높은 역사들의 가장 조밀한 분할로 정의하며, RNN의 은닉 상태를 연속적 표현으로 활용한다.
• 버티컬 레이어와 기울기 하강법을 사용한 미분 가능 분할 방법을 도입하여 이산 원인 상태를 근사한다.
• 원인 상태와 가장 조밀한 이분화된 분할 간의 이론적 동치성을 수립하며, 이분화 거리 측도를 통해 추상화된 MDP의 최적 가치 함수에 하한을 제공한다.
• 보상 예측 오차와 원본 MDP 및 추상화된 MDP 간의 분포 일관성을 결합한 손실 함수를 제안하며, 리프시츠 가정 하에 경계를 도출한다.
• 추상화된 MDP와 원본 MDP 간 전이 분포 간 워샤프스키 거리(Wasserstein distance)를 사용하여 표현의 구조적 정확도를 측정한다.

실험 결과

연구 질문

• RQ1 관측 예측에 대해 훈련된 미분 가능 RNN 기반 아키텍처를 사용하여 원인 상태를 효과적으로 근사할 수 있는가?
• RQ2 기존 방법인 PSRs와 DRQN에 비해 제안된 원인 상태 표현은 부분관측 작업에서 샘플 효율성과 성능 측면에서 어떻게 비교되는가?
• RQ3 원인 상태와 이분화 간의 이론적 관계는 무엇이며, 이 연결은 학습된 표현의 품질에 대해 증명 가능한 보장을 제공할 수 있는가?
• RQ4 연속적 원인 상태 표현은 이산 근사보다 예측성과 행동 유사성 유지 측면에서 뛰어나게 성능을 내는가?
• RQ5 수정된 VizDoom과 깜빡임이 나는 Atari 게임과 같은 연속 잠재 상태와 고차원 관측이 존재하는 환경으로 이 방법이 일반화 가능한가?

주요 결과

• 연속적 원인 상태 표현은 GridWorld 내비게이션 작업에서 이산 근사 및 DRQN보다 훈련 효율성과 최종 성능에서 뛰어나다.
• 연속적 원인 상태 표현의 이산화 과정에서 성능이 심각하게 저하되며, 이는 연속 형태가 필요한 정보를 더 잘 유지하고 있음을 시사한다.
• 이론적 분석 결과 원인 상태는 가장 조밀한 이분화된 분할과 동치이며, 이는 추상화된 MDP의 최적 가치 함수에 하한을 제공한다.
• 이분화 거리 측도를 사용하여 최적 가치 함수에 증명 가능한 경계를 확보하였으며, 이는 가치 함수의 리프시츠 연속성과 MDP 간 분포 거리에 의존한다.
• 수정된 VizDoom과 깜빡임이 나는 Atari 작업에서의 실증 평가를 통해, 이 방법이 연속 잠재 상태와 부분관측에 대해 강건함을 확인하였다.
• 기울기 기반 원인 상태 학습 접근법은 끝에서 끝까지 훈련이 가능하며, rich 관측을 갖는 다양한 부분관측 환경으로의 일반화를 가능하게 한다.