[논문 리뷰] Learning Robust State Abstractions for Hidden-Parameter Block MDPs

Amy Zhang, Shagun Sodhani외 2명|arXiv (Cornell University)|2020. 07. 14.

Reinforcement Learning in Robotics참고 문헌 35인용 수 5

한 줄 요약

이 논문은 고차원 관측 공간에서 다중 작업 및 메타강화학습을 위한 샘플 효율적이고 강건한 학습을 가능하게 하기 위해, 은닉 파라미터 MDP의 구조적 동역학과 블록 MDP의 관측 기반 상태 추상화를 융합한 Hidden-Parameter Block MDPs (HiP-BMDP) 프레임워크를 제안한다. 이는 작업 bisimulation 손실을 활용한 기울기 기반 표현 학습 방법을 도입하여 더 나은 제로샷 일반화와 더 빠른 적응을 달성하며, MTRL 및 메타-RL 설정에서 최신 기준(SOTA) 보다 뛰어난 성능으로 검증된다.

ABSTRACT

Many control tasks exhibit similar dynamics that can be modeled as having common latent structure. Hidden-Parameter Markov Decision Processes (HiP-MDPs) explicitly model this structure to improve sample efficiency in multi-task settings. However, this setting makes strong assumptions on the observability of the state that limit its application in real-world scenarios with rich observation spaces. In this work, we leverage ideas of common structure from the HiP-MDP setting, and extend it to enable robust state abstractions inspired by Block MDPs. We derive instantiations of this new framework for both multi-task reinforcement learning (MTRL) and meta-reinforcement learning (Meta-RL) settings. Further, we provide transfer and generalization bounds based on task and state similarity, along with sample complexity bounds that depend on the aggregate number of samples across tasks, rather than the number of tasks, a significant improvement over prior work that use the same environment assumptions. To further demonstrate the efficacy of the proposed method, we empirically compare and show improvement over multi-task and meta-reinforcement learning baselines.

연구 동기 및 목표

• 공유 보상이 존재하는 상황에서 작업 간 동역학이 다를 때 발생하는 샘플 비효율성 문제를 해결하기 위해.
• 진짜 상태가 은닉되어 있는 고차원 관측이 풍부한 환경에서 강건한 상태 추상화를 가능하게 하기 위해.
• 은닉 파라미터를 통해 작업 간 공유된 동역학을 활용하는 통합된 프레임워크를 체계화하여 일반화 및 전이 성능 향상.
• 모든 작업의 집계된 데이터에 의존하는 일반화 및 샘플 복잡도의 이론적 경계를 유도하기 위해.
• 로봇 제어 벤치마크에서 빠른 적응과 제로샷 전이 성능을 실험적으로 검증하기 위해.

제안 방법

• 작업별 은닉 파라미터에 조건이 붙은 공유 전이 모델을 통해 작업 간 동역학을 통합하는 Hidden-Parameter Block MDP (HiP-BMDP) 프레임워크를 제안한다.
• 적은 샘플에서의 일반화 성능 향상을 위해 부드러운 성질을 가진 잠재 상태 표현을 학습하는 기울기 기반 표현 학습 알고리즘을 도입한다.
• 표현이 작업 유사성을 유지하도록 유도하기 위해 작업 비유사도 손실(BiSim)을 통합하여, 미지 작업에 대한 일반화 성능 향상.
• 모델의 가치 손실과 샘플 복잡도에 대한 이론적 경계를 도출하며, 이는 작업 수가 아니라 모든 작업의 총 샘플 수에 비례함을 보여준다.
• 잠재 작업 임베딩을 추론하는 네트워크에 HiP-BMDP 손실를 추가하여 PEARL 알고리즘을 메타-RL에 적응시킨다.
• 전역 동역학을 고정한 채로 작업 파라미터 θ만 업데이트함으로써, 새로운 환경에 일반화 가능한 통합 전이 모델을 구현한다.

실험 결과

연구 질문

• RQ1 은닉 파라미터에 조건이 붙은 통합 동역학 모델이 공유 보상이 존재하는 다중 작업 강화학습에서 샘플 효율성과 일반화 성능 향상에 기여하는가?
• RQ2 진짜 상태가 은닉되어 있을 때 고차원 관측에서 강건한 상태 추상화를 어떻게 학습할 수 있는가?
• RQ3 비유사도 손실을 통해 작업 유사성을 통합하면, 새로운 작업에 대한 제로샷 일반화 성능에 얼마나 기여하는가?
• RQ4 작업 수가 아니라 총 샘플 수에 의존하는 샘플 복잡도 이론적 경계를 도출할 수 있는가?
• RQ5 제안된 방법이 기존의 MTRL 및 메타-RL 기준보다 빠른 적응과 제로샷 전이 성능에서 뛰어나게 되는가?

주요 결과

• MTRL 설정에서의 내삽 작업에 대해 HiP-BMDP는 다양한 환경에서 통계적으로 유의미한 성과 향상을 보이며, 기준 모델보다 일관되게 뛰어난 제로샷 일반화 성능을 기록한다.
• 비유사도 손실이 포함된 HiP-BMDP 모델은 그와 반대로 비유사도 손실이 없는 버전(HiP-BMDP-nobisim)보다 더 나은 일반화 성능을 보이며, 유사성 유지 표현의 중요성을 입증한다.
• 전이 모델 평가에서 제안된 방법은 새로운 환경에 더 빨리 적응하며, 기준 모델 대비 5단계 및 100단계의 스텝에서 단계별 모델 오차가 유의미하게 낮다.
• 메타-RL 설정에서 HiP-BMDP는 Walker-Walk-V1 같은 환경에서 PEARL 기준 대비 보상 임계치에 더 빨리 도달하며, 적은 샘플에서의 적응 성능 향상을 보여준다.
• 이론적 경계는 샘플 복잡도가 작업 수가 아니라 모든 작업의 총 샘플 수에 비례함을 보여주며, 이는 이전 연구 대비 상당한 개선이다.
• 실험 결과는 성능 향상이 작업 임베딩 때문만은 아니며, 비유사도 손실을 제거한 아블레이션 실험에서 성능이 열 劣함을 확인한다.