[論文レビュー] First-Person Forecasting with Online Inverse Reinforcement Learning

Nicholas Rhinehart, Kris Kitani|arXiv (Cornell University)|Dec 22, 2016

Video Surveillance and Tracking Methods被引用数 2

ひとこと要約

DARKOは、最初の人物の視覚ストリームから、段階的に長期的な意味的目標と将来の状態をモデル化・予測するオンライン逆強化学習フレームワークを提案する。ストリーミングデータからリアルタイムに報酬、遷移、目標を学習することで、ノイズありおよび理想的な条件下でもベースラインを上回る予測精度を達成し、理論的・実験的にノーレグレット性能を達成する。

ABSTRACT

We address the problem of incrementally modeling and forecasting long-term goals of a first-person camera wearer: what the user will do, where they will go, and what goal they are attempting to reach. In contrast to prior work in trajectory forecasting, our algorithm, DARKO, goes further to reason about semantic states (will I pick up an object?), and future goal states that are far both in terms of space and time. DARKO learns and forecasts from first-person visual observations of the user's daily behaviors via an Online Inverse Reinforcement Learning (IRL) approach. Classical IRL discovers only the rewards in a batch setting, whereas DARKO discovers the states, transitions, rewards, and goals of a user from streaming data. Among other results, we show DARKO forecasts goals better than competing methods in both noisy and ideal settings, and our approach is theoretically and empirically no-regret.

研究の動機と目的

• 最初の人物のカメラ所有者の長期的目標、特に将来の行動と目的地を、短期的な軌道予測をはるかに超えてモデル化・予測すること。
• 従来のバッチ逆強化学習の限界に対処し、ストリーミング視覚観測から段階的・リアルタイムに学習を可能にする。
• 現在の観測から時間的・空間的に遠く離れた意味的状態（例：「物をつかむ」）や目標を推論すること。
• データ品質の変動に応じて、理論的・実験的にノーレグレットな目標予測を達成する手法を開発すること。
• 静的またはバッチ学習された報酬モデルに依存する従来の手法と比較して、ノイズの多い現実世界の設定でも予測の頑健性を向上させること。

提案手法

• DARKOは、最初の人物の視覚的観測ストリームから継続的に報酬関数、ダイナミクス、および目標表現を更新するオンライン逆強化学習フレームワークを採用する。
• エージェントの行動をマルコフ決定過程としてモデル化し、関数近似を用いた時系列差分学習により、状態遷移と報酬関数を段階的に学習する。
• 観測された行動をクラスタリングし、抽象的な目標状態に関連付けることで、高レベルの意味的目標を推論し、長時間スパンの予測を可能にする。
• 環境や行動分布に関する事前知識が不要なノーレグレット学習アルゴリズムを用いることで、時間の経過とともに性能が向上することを保証する。
• 下流の報酬および目標推論のため、最初の人物の動画フレームを状態表現に変換するため、事前学習済みのCNNからの視覚特徴を統合する。
• DARKOは、可能な目標の信念を維持し、ベイズ更新と不確実性を考慮した報酬モデリングを用いて予測を精緻化する。

実験結果

リサーチクエスチョン

• RQ1 オンライン逆強化学習システムは、ストリーミング最初の人物の視覚データから意味的レベルの目標と将来の状態を効果的に予測できるか？
• RQ2 オンライン IRL の性能は、バッチ IRL や教師あり予測ベースラインと比較して、長時間スパンの目標予測タスクでどうなるか？
• RQ3 提案手法は、現実世界の最初の人物動画に一般的に見られるノイズや不完全な観測条件下でも、どの程度一般化可能か？
• RQ4 オンライン学習フレームワークは、理論的および実験的に、目標予測においてノーレグレット性能を達成するか？
• RQ5 システムは、明示的な教師付きラベルがなくても、低レベルの視覚観測から高レベルの意味的目標（例：「カップをつかむ」）を推論できるか？

主な発見

• DARKOは、ノイズありおよび理想的なデータ設定の両方で、競合手法を上回る目標予測性能を達成し、観測の不確実性に対して頑健であることが示された。
• モデルは、現在の状態から時間的に遠く離れた目標であっても、原始的な視覚観測から「物をつかむ」などの意味的目標を成功裏に推論した。
• DARKOのオンライン学習メカニズムにより、変化するユーザ行動に継続的に適応でき、動的環境下でバッチ学習された IRL 手法を上回った。
• 理論的分析により、DARKOが目標予測においてノーレグレットであることが確認された。これは、累積的レグレットが時間の経過とともに非線形的に増加することを意味する。
• 実験的評価により、ユーザーの行動が期待されるパターンから逸脱しても、モデルが将来の状態を高い精度で予測し続けることが示された。
• オンライン IRL と視覚特徴抽出の統合により、人間による目標ラベルが不要な状態で、スケーラブルかつ解釈可能な目標予測が可能になった。