[論文レビュー] Human Activity Learning using Object Affordances from RGB-D Videos

Hema Swetha Koppula, Rudhir Gupta+1 more|arXiv (Cornell University)|Aug 4, 2012

Human Pose and Action Recognition参考文献 32被引用数 12

ひとこと要約

本稿では、構造的SVMを用いたマークフ・ランダムフィールド（MRF）を用いて、RGB-D動画からの人間の行動と物体のアフォーダンス認識を統合的に学習するフレームワークを提案する。時間的セグメンテーションを潜在変数としてモデル化している。120本の動画におけるエンドツーエンドの行動認識で、81.8%の精度と80.0%の再現率を達成し、ロバストな長時間行動理解のための物体のアフォーダンス、相互作用、時間的文脈の重要性を示している。

ABSTRACT

Human activities comprise several sub-activities performed in a sequence and involve interactions with various objects. This makes reasoning about the object affordances a central task for activity recognition. In this work, we consider the problem of jointly labeling the object affordances and human activities from RGB-D videos. We frame the problem as a Markov Random Field where the nodes represent objects and sub-activities, and the edges represent the relationships between object affordances, their relations with sub-activities, and their evolution over time. We formulate the learning problem using a structural SVM approach, where labeling over various alternate temporal segmentations are considered as latent variables. We tested our method on a dataset comprising 120 activity videos collected from four subjects, and obtained an end-to-end precision of 81.8% and recall of 80.0% for labeling the activities.

研究の動機と目的

• RGB-D動画における順序的な部分行動と物体の相互作用を伴う複雑で長時間にわたる人間行動の認識という課題に取り組む。
• 従来の手法が物体検出と行動認識を別々のタスクとして扱うという限界を克服し、特に時間的変動性と視点の変化に対処する。
• 行動中に時間的に変化する動的特性としての物体アフォーダンス（例：届きやすい、注げる）をモデル化することで、認識性能の向上を図る。
• 複数のセグメンテーションを潜在変数として扱い、時間的セグメンテーションの不確実性を学習プロセスに組み込むことで、固定された1つのセグメンテーションに依存しない。
• 部分行動、物体アフォーダンス、物体同士の相互作用、時間的ダイナミクスの間の相互的な文脈が、認識精度の向上に寄与することを示す。

提案手法

• 行動とアフォーダンスラベル付けタスクを、2種類のノード（物体ノード：アフォーダンスを表す、部分行動ノード）を持つマークフ・ランダムフィールド（MRF）として定式化する。
• MRF内のエッジを定義し、ペairワイズな関係をモデル化する：物体同士の相互作用、物体-部分行動の相互作用、時間軸に沿った依存関係。
• 構造的SVMフレームワークを用い、複数の候補となる時間的セグメンテーションのラベル付けを潜在変数として扱い、モデルパラメータを同時に学習する。
• 均一なセグメンテーション、ジョイントディスプレースメントを用いたグラフベースのセグメンテーション、ジョイントボリュームを用いたグラフベースのセグメンテーションの3つの方法で、多様なセグメンテーション仮説を生成する。
• 複数のセグメンテーションからの予測を投票または統合戦略で統合し、セグメンテーションの不確実性に対処し、耐性を高める。
• RGB-Dデータを活用して3次元の人体ポーズと物体の位置を抽出し、遮蔽やごみがあってもアフォーダンスと部分行動状態の推定を安定化させる。

実験結果

リサーチクエスチョン

• RQ1 長時間にわたる人間の行動において、RGB-D動画内で物体アフォーダンスを動的で変化する性質として効果的にモデル化する方法は何か？
• RQ2 物体アフォーダンスと物体同士の相互作用を組み込むことで、部分行動および高レベル行動認識の精度はどの程度向上するか？
• RQ3 時間的文脈と時間的セグメンテーションの不確実性をモデル化することで、行動とアフォーダンスの統合的認識性能にどのような影響を与えるか？
• RQ4 部分行動の文脈、物体の文脈、物体同士の相互作用が、アフォーダンス検出性能に果たす相対的な貢献度は何か？
• RQ5 潜在的セグメンテーションを備えた統合的MRFフレームワークは、固定または単一のセグメンテーション仮説に依存する手法を上回る性能を発揮するか？

主な発見

• 提案手法は、未知の被験者を対象とした高レベル行動認識において、エンドツーエンドで81.8%の精度と80.0%の再現率を達成し、優れた一般化性能を示している。
• 物体の文脈は部分行動ラベル付けを顕著に改善する：物体ノードのないモデルと比較して、マイクロ精度は14.1%向上、マクロ精度／再現率は23.3%向上した。
• 部分行動の文脈はアフォーダンス検出を改善する：物体のみのモデルと比較して、マイクロ精度は4.9%向上、マクロ精度は17.7%向上、再現率は11.1%向上した。
• 物体同士の相互作用をモデル化することでアフォーダンス検出が向上する：このようなエッジを含まないモデルと比較して、マクロ再現率は14.9%向上、マクロ精度は10.9%向上した。
• 時間的文脈は不可欠である：時間的エッジを除去すると、アフォーダンスのマイクロ精度は4.8%低下し、部分行動では10.0%低下し、高レベル行動認識の精度も3.3%低下した。
• 複数のセグメンテーションからの予測を統合することで性能向上が得られる：最良の単一セグメンテーションを使用する場合と比較して、アフォーダンスのマクロ精度は5.8%向上、部分行動のマクロ精度は9.1%向上した。