[논문 리뷰] Learning Markov State Abstractions for Deep Reinforcement Learning

Cameron Allen, Neev Parikh외 2명|arXiv (Cornell University)|2021. 06. 08.

Reinforcement Learning in Robotics참고 문헌 53인용 수 6

한 줄 요약

이 논문은 깊이 강화 학습에서 역동력 모델링과 시간 대비 학습을 조합하여 마르코프 상태 추상화를 학습하는 방법을 제안한다. 이는 보상 신호에 의존하지 않고도 샘플 효율적인 강화 학습을 가능하게 한다. 이 방법은 성능을 유지하거나 손으로 설계된 상태 특징을 사용할 때를 넘어서는 압축되고 정보를 유지하는 표현을 학습한다.

ABSTRACT

A fundamental assumption of reinforcement learning in Markov decision processes (MDPs) is that the relevant decision process is, in fact, Markov. However, when MDPs have rich observations, agents typically learn by way of an abstract state representation, and such representations are not guaranteed to preserve the Markov property. We introduce a novel set of conditions and prove that they are sufficient for learning a Markov abstract state representation. We then describe a practical training procedure that combines inverse model estimation and temporal contrastive learning to learn an abstraction that approximately satisfies these conditions. Our novel training objective is compatible with both online and offline training: it does not require a reward signal, but agents can capitalize on reward information when available. We empirically evaluate our approach on a visual gridworld domain and a set of continuous control benchmarks. Our approach learns representations that capture the underlying structure of the domain and lead to improved sample efficiency over state-of-the-art deep reinforcement learning with visual features -- often matching or exceeding the performance achieved with hand-designed compact state information.

연구 동기 및 목표

• 풍부한 관측에서 마르코프 상태 표현을 학습하는 데 도전하는 데에 대비한다.
• 보상 피드백이 필요 없이 시각적 관측과 전문가 상태 특징 사이의 표현 갭을 메운다.
• 마르코프 성질을 유지하면서 효율적인 정책 학습을 가능하게 하는 학습 목표를 개발한다.
• 시각적 강화 학습 환경에서 구조적이고 저차원적인 추상화를 학습하여 샘플 효율성을 향상시킨다.

제안 방법

• 블록 MDP에서 상태 추상화가 마르코프 성질을 유지하는 데에 충분한 이론적 조건을 정의한다.
• 역동력과 대비 학습을 조합한 공동 목표를 사용하여 고차원 관측을 추상 상태로 매핑하는 공유 인코더를 훈련한다.
• 역모델을 사용하여 연속된 추상 상태에서 액션을 예측함으로써 동적 일致성을 확보한다.
• 실제 전이와 가짜 전이를 구분하는 대비 판별자를 적용하여 시간적 일관성을 증진시킨다.
• 온라인 및 오프라인 강화 학습 모두에 호환되는 보조 훈련 신호로 목표를 통합한다.
• 일반화 및 학습 효율성을 향상시키기 위해 선택적으로 부드러움 손실을 적용한다.

실험 결과

연구 질문

• RQ1 풍부한 관측 MDP에서 학습된 상태 추상화가 마르코프 성질을 유지하기 위해 충분한 조건은 무엇인가?
• RQ2 보상 신호가 필요 없이 마르코프성을 보장하는 표현 학습 목표를 설계할 수 있는가?
• RQ3 역동력과 대비 학습을 조합하면 시각적 강화 학습에서 샘플 효율성을 어떻게 향상시키는가?
• RQ4 이러한 추상화가 손으로 설계된 상태 특징을 사용할 때와 비교해 성능을 동일하거나 초월할 수 있는가?
• RQ5 실제 적용에서 표현의 부드러움은 후속 정책 학습에 어떤 영향을 미치는가?

주요 결과

• 제안된 방법은 시각적 그리드월드에서 표현 갭을 완전히 해소하는 마르코프 상태 추상화를 학습하며, 전문가 상태 특징을 사용할 때와 동일한 성능을 달성한다.
• 연속 제어 벤치마크에서, 이 방법은 최신 시각적 표현 학습 기법보다 샘플 효율성을 향상시키며, 종종 진정한 상태 입력을 사용할 때와 동일하거나 그 이상의 성능을 달성한다.
• 사전 훈련을 생략하거나 부드러움 정규화를 제거한 경우에도 상당한 성능 향상이 이루어지지만, 양측 모두 안정성과 속도 향상에 기여한다.
• 제거 분석 결과, 일부 작업에서 사전 훈련을 제거하면 성능이 약간 향상됨을 확인하여, 표현 사전 훈련이 항상 필요하지 않을 수 있음을 시사한다.
• 표준 시각 기반 기준 모델과 비교해 성능을 뛰어넘으며, 특히 RBF-DQN과 조합했을 때 DeepMind Control Suite에서 전문가 수준의 성능을 달성한다.
• 실험을 통해 표현의 부드러움은 마르코프 성질을 위해 반드시 필요하지 않지만, 학습 효율성과 최종 성능을 크게 향상시킴을 확인했다.