[논문 리뷰] Learning Belief Representations for Imitation Learning in POMDPs

Tanmay Gangwani, Joel Lehman외 2명|arXiv (Cornell University)|2019. 06. 22.

Reinforcement Learning in Robotics참고 문헌 42인용 수 13

한 줄 요약

이 논문은 POMDP에서의 암시 학습을 위한 공동 학습 프레임워크인 믿음 모듈 암시 학습(Belief-Module Imitation Learning, BMIL)을 제안한다. 이는 임의의 상태 정보가 제공되지 않는 환경에서 작업에 적합한 암시 손실을 사용하여 믿음 표현과 정책을 함께 학습함으로써, MuJoCo의 연속 제어 이동 과제에서 분리된 및 작업에 무관한 기준보다 성능을 크게 향상시킨다.

ABSTRACT

We consider the problem of imitation learning from expert demonstrations in partially observable Markov decision processes (POMDPs). Belief representations, which characterize the distribution over the latent states in a POMDP, have been modeled using recurrent neural networks and probabilistic latent variable models, and shown to be effective for reinforcement learning in POMDPs. In this work, we investigate the belief representation learning problem for generative adversarial imitation learning in POMDPs. Instead of training the belief module and the policy separately as suggested in prior work, we learn the belief module jointly with the policy, using a task-aware imitation loss to ensure that the representation is more aligned with the policy's objective. To improve robustness of representation, we introduce several informative belief regularization techniques, including multi-step prediction of dynamics and action-sequences. Evaluated on various partially observable continuous-control locomotion tasks, our belief-module imitation learning approach (BMIL) substantially outperforms several baselines, including the original GAIL algorithm and the task-agnostic belief learning algorithm. Extensive ablation analysis indicates the effectiveness of task-aware belief learning and belief regularization.

연구 동기 및 목표

• 완전한 상태 정보가 제공되지 않는 부분 관찰 가능한 환경에서의 암시 학습 도전 과제를 해결한다.
• 기존 방법들이 믿음 모듈과 정책을 별도로 학습함으로써 표현이 일치하지 않는 한계를 극복한다.
• 정책 목표와의 공동 최적화를 통해 믿음 표현의 강건성과 작업 관련성을 향상시킨다.
• 믿음의 분해를 방지하고 믿음 학습에서 시간에 따른 추상화를 향상시키기 위한 정규화 기법을 개발한다.

제안 방법

• 최소-최대 목표를 사용하는 적대적 암시 학습 프레임워크에서 믿음 모듈, 정책, 판별기 모두를 공동으로 학습한다.
• 정책의 목표와 일치하는 믿음 표현을 유도하기 위해 작업에 적합한 암시 손실을 도입한다. 이는 정책 성능 향상에 기여한다.
• 다단계 예측 정규화를 적용한다: 다양한 시간 간격(k=1,5,10)에서 미래 및 과거 관측값과 행동 시퀀스를 예측한다.
• 앞서 예측 동역학(다음 관측값 예측), 역동역학(관측 전이에서 행동 예측), 행동 시퀀스 모델링을 위한 보조 손실을 사용한다.
• 시간에 따라 역전파를 사용하여 믿음 모듈을 정책 및 판별기와 함께 엔드 투 엔드로 학습한다.
• 기록을 인코딩하고 시간적 의존성을 유지하기 위해 믿음 모듈에 순환 구조를 사용한다.

실험 결과

연구 질문

• RQ1 믿음과 정책 네트워크를 공동으로 학습하는 것이 분리된 학습 대비 POMDP에서의 암시 성능을 향상시키는가?
• RQ2 믿음 표현 학습에 작업에 적합한 지도를 통합하면 작업에 무관한 사전 학습 대비 더 나은 정책 성능을 얻을 수 있는가?
• RQ3 관측값과 행동에 대한 다단계 예측 손실이 믿음 표현의 강건성과 표현력 향상에 얼마나 효과적인가?
• RQ4 앞서 예측, 역동역학, 행동 예측 손실 각각이 믿음 표현 학습의 전체 성능에 기여하는 정도는 어떠한가?
• RQ5 제안된 프레임워크는 MuJoCo의 다양한 부분 관찰 가능한 연속 제어 과제에 일반화 가능한가?

주요 결과

• BMIL은 평가된 MuJoCo 이동 과제 전반에서 원래의 GAIL 알고리즘과 작업에 무관한 믿음 학습 기준보다 뚜렷이 뛰어난 성능을 보였다.
• 작업에 적합한 암시 손실은 Walker와 Hopper와 같이 작업에 무관한 방법이 성능을 저하시키는 환경에서도 일관된 성능 향상을 이끌었다.
• 앞서 예측, 역동역학, 행동 예측 정규화 구성 요소 각각이 정규화 없이 학습한 기준 대비 성능 향상을 보였으며, 전체 BMIL 모델이 가장 높은 샘플 효율성과 최종 수익률을 달성했다.
• 단일 단계 예측 대비 다단계 예측(k=5 및 k=10)이 학습 속도와 최종 성능 향상에 기여하여 시간에 따른 추상화가 표현 품질을 향상시킨다는 점을 시사한다.
• 제거 분석 결과, 모든 정규화 항목을 조합할 경우 가장 뛰어난 성능을 기록하였으며, BMIL는 Ant 및 Walker 과제에서 평균 에피소드 수익률이 가장 높았다.
• 예측을 원시 관측 공간이 아닌 잠재 표현 공간에서 수행하더라도 성능이 안정적으로 유지되어 표현 선택에 대해 강건함을 보였다.