[論文レビュー] Learning Temporal Strategic Relationships using Generative Adversarial Imitation Learning

Tharindu Fernando, Simon Denman+2 more|arXiv (Cornell University)|May 13, 2018

Reinforcement Learning in Robotics参考文献 38被引用数 20

ひとこと要約

この論文では、長期間の計画に適した時間的戦略的関係を専門家の模倣行動にモデル化するため、局所的およびグローバルなメモリモジュールを統合した、MA-GAILと呼ばれる新しい生成的対抗的模倣学習フレームワークを提案する。メモリ拡張型報酬信号を活用することで、部分的タスクの順序と専門家固有の戦略を学習し、自動運転シミュレーションにおいて、より良いレーン変更、より少ないオフロード走行、滑らかな状態遷移を実現し、最先端手法を上回る性能を発揮した。

ABSTRACT

This paper presents a novel framework for automatic learning of complex strategies in human decision making. The task that we are interested in is to better facilitate long term planning for complex, multi-step events. We observe temporal relationships at the subtask level of expert demonstrations, and determine the different strategies employed in order to successfully complete a task. To capture the relationship between the subtasks and the overall goal, we utilise two external memory modules, one for capturing dependencies within a single expert demonstration, such as the sequential relationship among different sub tasks, and a global memory module for modelling task level characteristics such as best practice employed by different humans based on their domain expertise. Furthermore, we demonstrate how the hidden state representation of the memory can be used as a reward signal to smooth the state transitions, eradicating subtle changes. We evaluate the effectiveness of the proposed model for an autonomous highway driving application, where we demonstrate its capability to learn different expert policies and outperform state-of-the-art methods. The scope in industrial applications extends to any robotics and automation application which requires learning from complex demonstrations containing series of subtasks.

研究の動機と目的

• 標準的なGAILが、専門家の行動データにおける長期的な時間的依存関係や順序的な部分的タスクの関係を捉えることの限界を解消すること。
• 複雑な意思決定タスクにおいて、軌道内での部分的タスクの依存関係（局所的メモリ）と、専門家間の戦略的差異（グローバルメモリ）の両方をモデル化すること。
• 状態遷移の正則化に、メモリの隠れ状態を報酬信号として用いることで、ポリシーの滑らかさを向上させ、不規則な操作を低減すること。
• 手動で設計された報酬関数を必要とせず、アーキテクチャに依存しないデータ駆動型の模倣学習を可能にし、ロボット工学や自動化に応用可能であること。
• 特定の指標において人間の専門家を上回る能力を示すとともに、他の指標では同等またはそれを上回ることを示すこと。

提案手法

• 単一の専門家軌道内での部分的タスクの順序を追跡し、各模倣行動ごとにリセットされる局所的メモリモジュールを備えた二重メモリアーキテクチャを導入する。
• 複数の模倣行動のバッチにわたって、専門家間の行動的差異とドメインレベルの最良実践法を捉えるグローバルメモリモジュールを採用する。
• 両方のメモリモジュールの隠れ状態を報酬信号として用い、ポリシー学習をガイドすることで、滑らかで安定した状態遷移を促進する。
• 現在の状態に加え、歴史的文脈を考慮するメモリ拡張型ディスクラミネーターをGAILフレームワークに拡張し、専門家軌道と模倣軌道を評価する。
• 連続する時間ステップ間のメモリ状態の乖離を測定することで、急激な状態変化を罰する報酬拡張メカニズムを適用する。
• 生成器（ポリシー）が専門家行動と類似した行動を識別できないようにする敵対的模倣学習を用い、ポリシーネットワークをエンドツーエンドで訓練する。

実験結果

リサーチクエスチョン

• RQ1 複雑で多段階の専門家模倣行動において、部分的タスク間の順序的関係を効果的にモデル化する方法は何か？
• RQ2 類似した環境条件下で、メモリ拡張型GAILフレームワークは、異なる専門家の戦略をどの程度分離できるか？
• RQ3 メモリから得られる報酬信号は、模倣学習におけるポリシーの滑らかさを向上させ、望ましくない状態遷移を低減できるか？
• RQ4 局所的およびグローバルメモリモジュールの統合は、標準的なGAILやBC手法と比較して、長期計画能力をどの程度向上させるか？
• RQ5 提案手法は、多様な専門家の行動に一般化可能であり、特定のドライブ指標において人間の模倣者を上回ることができるか？

主な発見

• 提案されたMA-GAILモデルは、1.40の走行距離（正規化単位）を達成し、人間の専門家を含むすべてのベースラインを上回った。
• MA-GAILは、ハードブレーキ率を0.19に低下させ、次に良いベースライン（MA-GAIL / M^Gで0.20）を大きく下回り、より滑らかな走行行動を示した。
• すべての手法の中で最低のレーン変更率（0.33）を達成し、部分的タスクの局所化が良好で、振動が少ないことを示した。
• アブレーションスタディでは、局所的メモリまたはグローバルメモリを削除すると性能が低下し、MA-GAIL / M^Lではレーン変更が0.59、オフロード率が0.42となった。
• 報酬拡張メカニズム（MA-GAIL / RA）はベースラインGAILを上回ったが、完全なMA-GAILモデルには及ばず、その必要性を裏付けた。
• 定性的な結果では、モデルが多様な視覚入力に対応して、レーン変更、追い越し、旋回などの複雑な操作を成功裏に実行し、強力な時間的文脈理解を示した。