[논문 리뷰] Kinematic State Abstraction and Provably Efficient Rich-Observation Reinforcement Learning

Dipendra Misra, Mikael Henaff외 2명|arXiv (Cornell University)|2019. 11. 13.

Anomaly Detection Techniques and Applications인용 수 13

한 줄 요약

이 논문은 풍부한 관측 환경에서 증강 학습을 통해 증명 가능한 효율적 탐색을 가능하게 하는 HOMER라는 강화 학습 알고리즘을 소개한다. 이는 관측치 간의 동일한 전진 및 후진 역학을 공유하는 관측치들을 군집화하는 운동학적 상태 추상화를 학습함으로써 이루어진다. 이 방법은 표현 학습과 전략적 탐색을 번갈아 수행하며, 관측 공간 크기와 무관하게 잠재 상태 수에 대해 다항 수준의 샘플 복잡도를 달성하고, 희박한 보상, 고차원 제어 문제에서 벤치마크를 능가한다.

ABSTRACT

We present an algorithm, HOMER, for exploration and reinforcement learning in rich observation environments that are summarizable by an unknown latent state space. The algorithm interleaves representation learning to identify a new notion of kinematic state abstraction with strategic exploration to reach new states using the learned abstraction. The algorithm provably explores the environment with sample complexity scaling polynomially in the number of latent states and the time horizon, and, crucially, with no dependence on the size of the observation space, which could be infinitely large. This exploration guarantee further enables sample-efficient global policy optimization for any reward function. On the computational side, we show that the algorithm can be implemented efficiently whenever certain supervised learning problems are tractable. Empirically, we evaluate HOMER on a challenging exploration problem, where we show that the algorithm is exponentially more sample efficient than standard reinforcement learning baselines.

연구 동기 및 목표

• 고차원적이고 풍부한 관측 환경에서 표준 강화 학습이 통계적으로 비가역적인 문제로 실패하는 데 기인한 효율적 탐색의 과제를 해결하기 위해.
• 잠재 상태 공간에 대한 사전 지식 없이도 원시 관측치에서 압축된 잠재 상태 표현을 학습하는 방법을 개발하기 위해.
• 표현 학습과 전략적 탐색을 결합하여 임의의 보상 함수에 대해 샘플 효율적인 정책 최적화를 가능하게 하기 위해.
• 잠재 상태 수와 수평선에 대해 다항 수준으로 증가하지만 관측 공간 크기와는 독립적인 증명 가능한 샘플 복잡도 경계를 달성하기 위해.
• 기본적으로 타당한 지도 학습 문제로 환원 가능한 계산적으로 효율적인 알고리즘을 설계하기 위해.

제안 방법

• HOMER는 관측치들이 동일한 전진 및 후진 역학을 공유할 경우 그룹화되는 운동학적 불가분성이라는 새로운 상태 추상화를 학습한다.
• 원시 관측치에 대한 대비적 추정 문제를 통해, 운동학적으로 불가분한 상태를 식별하는 브로드캐스트된 회귀 모델을 훈련한다.
• 탐색 문제를 문맥적 밴디트 문제로 환원하여 정책 커버를 구성한다. 이는 각 추상 상태를 방문하도록 유도하는 가상의 보상 함수를 사용한다.
• 표현 학습과 정책 학습을 반복적이고 인도적인 방식으로 번갈아 수행한다: 더 넓은 추상화에서 유도된 정책들이 새로운 경험을 제공하며, 이를 통해 추상화가 정교해진다.
• 이 방법은 두 핵심 구성 요소에 의존한다: 상태 추상화를 위한 표현 헤드(REG)와 탐색 정책 학습을 위한 문맥적 밴디트 정책(CB)이다.
• 환원 프레임워크를 기반으로 하며, 기본 지도 학습 문제들이 해석 가능할 경우 계산적 효율성을 보장한다.

실험 결과

연구 질문

• RQ1 풍부한 관측 환경에서 잠재 구조에 대한 사전 지식 없이 원시 관측치로부터 압축되고 정보적인 상태 추상화를 학습할 수 있는가?
• RQ2 관측 공간 크기에 의존하지 않는 증명 가능한 효율적 탐색 전략을 설계할 수 있는가?
• RQ3 표현과 탐색의 상호 학습이 복잡하고 고차원적 환경에서 더 높은 샘플 효율성을 이끌 수 있는가?
• RQ4 학습된 추상화가 임의의 보상 함수에 대해 샘플 효율적인 정책 최적화를 지원할 수 있는가?
• RQ5 제안된 운동학적 상태 추상화가 표준 강화 학습 벤치마크에 비해 샘플 효율성에서 지수적 향상을 가능하게 하는가?

주요 결과

• HOMER는 잠재 상태 수, 행동 수, 수평선, 함수 클래스 복잡도에 대해 다항 수준으로 증가하는 샘플 복잡도를 달성하며, 관측 공간 크기에 대한 명시적 의존성이 없다.
• 10^-100의 최적 보상 확률을 가진 악랄한 조합 자물쇠 문제에서 HOMER는 근사 최적 정책을 일관되게 발견하지만, 벤치마크는 실패한다.
• HOMER는 단순한 탐색, 내재적 호기심(RND), 이전 연구에서 제안된 PAC-RL 알고리즘과 비교해도 승리한다.
• 알고리즘의 성능은 다양한 수평선 길이(H ∈ {6, 12, 25})에 걸쳐 뚜렷한 샘플 효율성 향상을 보이며, 일관되게 뛰어나다.
• 학습된 운동학적 상태 추상화는 환경의 잠재 구조를 효과적으로 포착하여 효과적인 탐색과 정책 학습을 가능하게 한다.
• 실험 결과는 대비적 표현 학습과 문맥적 밴디트를 통한 정책 커버 구성의 조합이 샘플 효율성 향상에 상당한 기여를 한다는 것을 확인한다.