[論文レビュー] Inferring The Latent Structure of Human Decision-Making from Raw Visual Inputs

Yunzhu Li, Jiaming Song+1 more|arXiv (Cornell University)|Jan 1, 2017

Adversarial Robustness in Machine Learning被引用数 1

ひとこと要約

本稿では、強化学習信号を用いずに、生の視覚入力から潜在的な意思決定構造を推論するGAILベースの手法を提案する。これにより、多様な人間の行動を解釈可能に模倣可能となり、高次元の環境（例：高速道路走行）において、分離されたドライブスタイルを学習し、人間の行動を予測可能となる。

ABSTRACT

The goal of imitation learning is to match example expert behavior, without access to a reinforcement signal. Expert demonstrations provided by humans, however, often show significant variability due to latent factors that are not explicitly modeled. We introduce an extension to the Generative Adversarial Imitation Learning method that can infer the latent structure of human decision-making in an unsupervised way. Our method can not only imitate complex behaviors, but also learn interpretable and meaningful representations. We demonstrate that the approach is applicable to high-dimensional environments including raw visual inputs. In the highway driving domain, we show that a model learned from demonstrations is able to both produce different driving styles and accurately anticipate human actions. Our method surpasses various baselines in terms of performance and functionality.

研究の動機と目的

• 模倣学習における未モデル化された潜在要因によって引き起こされる専門家デモンストレーションのばらつきに対処すること。
• 人間意思決定の解釈可能で意味のある表現の教師なし発見を可能にすること。
• 高次元の環境で生の視覚入力に直接対応できるように、生成対抗的模倣学習（GAIL）を拡張すること。
• 異なるドライブスタイルを反映する多様な行動方針を学習するとともに、人間の行動を正確に予測すること。

提案手法

• 専門家デモンストレーションから潜在変数を同時に最適化・推論できるように、変分推論フレームワークをGAILに拡張する。
• 推論された潜在要因に条件づけられた行動方針をモデル化するための条件付き生成器を用い、多様な行動生成を可能にする。
• 生のピクセル観測を入力として用い、専門家軌道と生成された軌道を区別する識別器を採用する。
• 教師なしで視覚入力から潜在要因を分離できる、変分オートエンコーダ（VAE）と類似した構造を採用する。
• 敵対的模倣損失とKL正則化を用いて、ポリシーと潜在推論ネットワークをエンドツーエンドで訓練する。
• 手作業で設計された状態表現を必要とせず、生の視覚観測を入力として利用する。

実験結果

リサーチクエスチョン

• RQ1 明示的な教師信号なしに、生の視覚入力から人間意思決定の潜在要因を推論できるか？
• RQ2 推論された潜在構造は、模倣学習において解釈可能で多様な行動方針をもたらすか？
• RQ3 本手法は、高速道路走行のような高次元の視覚環境にどれほど一般化できるか？
• RQ4 本手法は、専門家デモンストレーションのみを用いて、ベースライン手法よりも人間の行動をより正確に予測できるか？

主な発見

• モデルは生の視覚入力から分離可能で解釈可能な潜在要因を効果的に推論でき、多様なドライブスタイルの実現が可能となった。
• 本手法は、高速道路走行環境における模倣学習で、複数のベースラインを上回る性能を達成した。
• 専門家の行動における潜在構造を活用することで、行動予測性能が向上した。
• 設計された状態表現を必要とせず、高次元の視覚入力に対しても効果的に一般化された。