[논문 리뷰] Multi-View Reinforcement Learning

Minne Li, Lisheng Wu외 2명|arXiv (Cornell University)|2019. 10. 18.

Reinforcement Learning in Robotics인용 수 4

한 줄 요약

이 논문은 공유 동역학을 가진 다중 관측 모델을 지원하도록 POMDP를 확장하는 Multi-View Reinforcement Learning (MVRL) 프레임워크를 소개한다. 모델-free 학습을 위한 관측 증강과 모델기반 학습을 위한 크로스뷰 정책 전이를 제안하며, 벤치마크 환경 전반에서 표본 복잡도와 학습 시간이 크게 감소하는 것을 입증한다.

ABSTRACT

This paper is concerned with multi-view reinforcement learning (MVRL), which allows for decision making when agents share common dynamics but adhere to different observation models. We define the MVRL framework by extending partially observable Markov decision processes (POMDPs) to support more than one observation model and propose two solution methods through observation augmentation and cross-view policy transfer. We empirically evaluate our method and demonstrate its effectiveness in a variety of environments. Specifically, we show reductions in sample complexities and computational time for acquiring policies that handle multi-view environments.

연구 동기 및 목표

• 다양한 감각 모ality를 통해 동일한 기저 동역학을 관측하는 환경에서의 의사결정 문제를 다루기 위해.
• 표준 강화학습과 POMDP가 단일 관측 모델을 가정하는 데서 비롯하는 제약를 극복하기 위해, 다중 시야 관측 융합을 가능하게 하기 위해.
• 다중 시야 환경에서 표본 복잡도와 계산 비용을 줄이는 효율적인 학습 방법을 개발하기 위해.
• 다양한 센서 구성과 도메인 간 정책 일반화와 고장 내성 능력을 보장하기 위해.
• 다중 시야 지도학습과 강화학습 사이의 격차를 해소하기 위해, 시야 간 공유 동역학을 직접 모델링하기 위해.

제안 방법

• 다양한 시야 간 공동 관측 공간과 공동 관측 함수를 정의하여 POMDP를 다중 관측 모델을 지원하도록 확장한다.
• 모델-프리 학습을 위한 관측 증강 방법을 제안하며, 여러 시야의 특징을 연결하여 정책 네트워크의 통합 입력으로 사용한다.
• 모델-기반 학습을 위한 크로스뷰 정책 전이 방법을 도입하며, 한 시야에서 학습된 정책이 공유 세계 모델을 통해 다른 시야로 전이된다.
• 공유 동역학 모델을 활용해 시야 간 잠재적 환경 전이를 캡처함으로써 표본 효율성을 향상시킨다.
• 순환 구조를 사용해 다중 시야 관측의 시간적 의존성을 모델링하여 장기 계획 가능성을 확보한다.
• 모델기반 계획과 모델프리 미세조정을 통합하여 학습 안정성과 데이터 효율성을 향상시킨다.

실험 결과

연구 질문

• RQ1 공유 환경 동역학을 유지하면서 다중 관측 모델을 처리할 수 있는 통합 RL 프레임워크를 설계할 수 있는가?
• RQ2 관측 증강 방법은 표준 PPO에 비해 모델프리 다중 시야 RL에서 표본 효율성을 얼마나 향상시킬 수 있는가?
• RQ3 크로스뷰 정책 전이 방법은 모델기반 다중 시야 RL에서 표본 복잡도를 얼마나 줄일 수 있는가?
• RQ4 공유 동역학 모델링은 다양한 센서 구성 간 보다 우수한 일반화와 빠른 수렴을 이끌 수 있는가?
• RQ5 제안된 MVRL 프레임워크는 기존의 다중 시야 및 다중 작업 강화학습 방법에 비해 데이터 효율성과 학습 시간 측면에서 어떻게 비교되는가?

주요 결과

• 모델프리 MVRL에서의 관측 증강 방법은 다중 시야 제어 벤치마크에서 표준 PPO에 비해 표본 복잡도를 최대 50% 감소시켰다.
• 모델기반 MVRL에서의 크로스뷰 정책 전이 방법은 기준 방법에 비해 학습 표본을 최대 70% 감소시켰다.
• MVRL은 다양한 시야 간 정책 일반화를 향상시켜 센서 모달리티를 전환할 때 더 빠른 적응을 가능하게 하였다.
• 공유 동역학 모델은 고차원 관측 공간에서 특히 학습 안정성과 상관 신호 품질 향상에 크게 기여하였다.
• 수동적 특징 엔지니어링 없이도 이질적인 시야 간 효과적인 데이터 융합이 가능했으며, 예를 들어 이미지와 시계열 센서 데이터 간 융합이 성공적으로 이루어졌다.
• 실험 결과, MVRL은 표본 효율성과 계산 효율성 측면에서 최신의 모델프리 및 다중 작업 강화학습 방법을 모두 초월하였다.