[論文レビュー] Watch-n-Patch: Unsupervised Learning of Actions and Relations

Chenxia Wu, Jiemi Zhang+4 more|arXiv (Cornell University)|Mar 11, 2016

Human Pose and Action Recognition参考文献 64被引用数 4

ひとこと要約

この論文では、RGB-D動画からラベルなしで高レベルの行動およびオブジェクトトピックを学習する完全に教師なしの確率的モデルであるWatch-n-Patchを提案する。行動間の長距離時間的および共起関係をモデル化するために、Casual Topic Model (CaTM) を用いる。本モデルは教師なしの行動分割、クラスタリング、および新しい応用である「行動パッチング」を可能にし、日常的行動における忘れられた行動を検出する。実験は新しいRGB-Dデータセットを用いて実施され、ロボットシステムに実装され、リアルタイムのリマインダーが可能である。

ABSTRACT

There is a large variation in the activities that humans perform in their everyday lives. We consider modeling these composite human activities which comprises multiple basic level actions in a completely unsupervised setting. Our model learns high-level co-occurrence and temporal relations between the actions. We consider the video as a sequence of short-term action clips, which contains human-words and object-words. An activity is about a set of action-topics and object-topics indicating which actions are present and which objects are interacting with. We then propose a new probabilistic model relating the words and the topics. It allows us to model long-range action relations that commonly exist in the composite activities, which is challenging in previous works. We apply our model to the unsupervised action segmentation and clustering, and to a novel application that detects forgotten actions, which we call action patching. For evaluation, we contribute a new challenging RGB-D activity video dataset recorded by the new Kinect v2, which contains several human daily activities as compositions of multiple actions interacting with different objects. Moreover, we develop a robotic system that watches people and reminds people by applying our action patching algorithm. Our robotic setup can be easily deployed on any assistive robot.

研究の動機と目的

• 人間がラベルを付与しない状態で、基本的な行動とオブジェクト相互作用の系列として複合的な人間行動をモデル化すること。
• 短時間範囲のモデリングに依存する従来手法が見逃しがちな、日常的行動における行動間の長距離時間的および共起関係を発見すること。
• 教師なし動画理解を用いて、忘れられた行動を検出し、ユーザーにリマインダーを提供する、新しいロボット応用「行動パッチング」を開発すること。
• 教師なし行動学習と評価を支援するための、日常的複合行動を含む、新しい挑戦的なRGB-D動画データセットを構築すること。
• ラベルなし動画データのみを用いて、支援ロボットにシステムを実装し、現実世界の人の支援を可能にすること。

提案手法

• 各動画を短期間のクリップの系列として表現し、人間のスケルトン軌跡を「人間の語」、オブジェクト軌跡を「オブジェクトの語」として扱う。
• 行動トピック、オブジェクトトピック、およびそれらの相関を共同でモデル化するCasual Topic Model (CaTM) を導入し、長距離行動関係のモデリングを可能にする。
• 行動トピックとオブジェクトトピックの共起をモデル化するための相関トピック事前分布を用い、例えば「本を取ってくる」と「本を戻す」のような強い関連性を持つ行動ペアを捉える。
• 階層的生成モデルを採用し、人間の語は行動トピックから、オブジェクトの語は行動トピックおよびオブジェクトトピックの両方から抽出される。
• 推論にはGibbsサンプリングを適用し、語の共起と時間的文脈に基づくトピック割り当ての事後分布を推定する。
• RGB-D特徴、特に人間スケルトンとオブジェクト軌跡を活用することで、RGBのみのベースラインに比べて行動認識性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 完全に教師なしのモデルは、ラベルなしのRGB-D動画から意味のある行動およびオブジェクトトピックを学習できるか？
• RQ2 「本を取ってくる」と「本を戻す」のような、長い読書フェーズをはさんで離れている行動間の長距離時間的および共起関係をモデルは捉えることができるか？
• RQ3 ラベルなし動画の系列しか与えられていない状態で、リアルタイムに忘れられた行動を検出できるか？
• RQ4 提案されたCaTMモデルは、既存の手法と比較して、教師なしの行動分割およびクラスタリングにおいてどれほど効果的か？
• RQ5 学習されたモデルを実際のロボットに実装し、日常のルーティンにおける忘れられた行動のタイムリーなリマインダーを提供できるか？

主な発見

• 提案されたWatch-n-Patchシステムは、ラベルなしのRGB-D動画からの教師なし学習のみを用いて、日常的行動における忘れられた行動を効果的に検出できた。
• CaTMフレームワークを用いて行動とオブジェクトトピックの相関を学習することで、効果的な教師なしの行動分割とクラスタリングが達成された。
• 本システムは、Kinect v2を用いて記録された、長距離依存性を持つ複数の複合行動を含む、新しい挑戦的なRGB-Dデータセットを用いて検証された。
• ロボット実装は、「本を戻す」や「モニタを切る」などの欠落を効果的に検出し、レーザースポットの指向によってユーザーにリマインダーを提供した。
• 複雑な日常ルーティンにおける欠落検出に不可欠な長距離行動関係をモデル化する点で、本手法はベースライン手法を上回った。
• 実際の支援ロボットへの実装により、現実世界の人間-ロボットインタラクションの文脈において、本手法の実現可能性と実用性が示された。