[論文レビュー] Multi-View Reinforcement Learning

Minne Li, Lisheng Wu+2 more|arXiv (Cornell University)|Oct 18, 2019

Reinforcement Learning in Robotics被引用数 4

ひとこと要約

本稿では、共有動的特性を持つ複数の観測モデルをサポートするようにPOMDPを拡張するMulti-View Reinforcement Learning (MVRL) フレームワークを紹介する。モデルフリー学習のための観測特徴の拡張と、モデルベース学習のためのクロスビュー政策転送の2つの手法を提案し、ベンチマーク環境において、サンプルの複雑さと学習時間を顕著に削減することを実証した。

ABSTRACT

This paper is concerned with multi-view reinforcement learning (MVRL), which allows for decision making when agents share common dynamics but adhere to different observation models. We define the MVRL framework by extending partially observable Markov decision processes (POMDPs) to support more than one observation model and propose two solution methods through observation augmentation and cross-view policy transfer. We empirically evaluate our method and demonstrate its effectiveness in a variety of environments. Specifically, we show reductions in sample complexities and computational time for acquiring policies that handle multi-view environments.

研究の動機と目的

• エージェントが異なる感覚モalityを通じて同じ潜在的動的特性を観測する環境における意思決定の課題に取り組む。
• 標準的なRLおよびPOMDPが単一の観測モデルを仮定するという制限を克服し、複数の視点からの観測統合を可能にする。
• 複数の視点設定におけるサンプル複雑さと計算コストを低減する効率的な学習手法を開発する。
• 異なるセンサー構成やドメイン間で、政策の一般化と故障耐性を実現する。
• 複数視点の教師あり学習と強化学習のギャップを埋めるために、視点間で共有される動的特性を直接モデル化する。

提案手法

• 複数の観測モデルをサポートするようにPOMDPを拡張し、視点間で共通する結合観測空間と結合観測関数を定義する。
• モデルフリー手法として、複数の視点からの特徴を連結して政策ネットワークの統合入力とする観測拡張を提案する。
• モデルベース手法として、ある視点で学習した政策を共有ワールドモデルを介して別の視点に転送するクロスビュー政策転送を導入する。
• 共有動的モデルを活用して、視点間で共通する環境遷移を捉え、サンプル効率を向上させる。
• 再帰的アーキテクチャを用いて、複数視点の観測における時間的依存性をモデル化し、長期間計画を可能にする。
• モデルベース計画とモデルフリー微調整を統合することで、学習の安定性を高め、データ効率を改善する。

実験結果

リサーチクエスチョン

• RQ1 共有環境動的特性を保持しつつ、複数の観測モデルを扱える統合型RLフレームワークを設計できるか？
• RQ2 観測拡張は、標準的なPPOと比較して、モデルフリー多視点強化学習におけるサンプル効率をどのように向上させるか？
• RQ3 クロスビュー政策転送は、モデルベース多視点強化学習におけるサンプル複雑さをどの程度低減できるか？
• RQ4 共有動的特性モデリングは、異なるセンサー構成間でより良い一般化と高速収束をもたらすか？
• RQ5 データ効率性と学習時間の観点から、提案されたMVRLフレームワークは、既存の多視点およびマルチタスク強化学習手法と比較してどのように差をつけるか？

主な発見

• モデルフリーMVRLにおける観測拡張手法は、多視点制御ベンチマークにおいて、標準的なPPOと比較して最大50％のサンプル複雑さの低減を達成した。
• モデルベースMVRLにおけるクロスビュー政策転送手法は、ベースライン手法と比較して最大70％の学習サンプル削減を達成した。
• MVRLは、異なる視点間での政策一般化を向上させ、センサーモダリティの切り替え時にも迅速な適応を可能にした。
• 共有動的モデルは、特に高次元の観測空間において、学習の安定性と相関信号の質を顕著に向上させた。
• 手動による特徴工学を必要とせずに、画像や時系列センサデータなど異種の視点間で効果的なデータ統合を実現した。
• 実験的結果から、MVRLは、サンプル効率性および計算効率性の両面で、最先端のモデルフリーおよびマルチタスク強化学習手法を上回った。