[論文レビュー] Mutual Context Network for Jointly Estimating Egocentric Gaze and Actions

Yifei Huang, Zhenqiang Li+2 more|arXiv (Cornell University)|Jan 7, 2019

Human Pose and Action Recognition参考文献 79被引用数 11

ひとこと要約

本稿では、双方向的コンテキストを活用することで、エゴセントリックな視線推定とアクション認識を同時に最適化する相互コンテキストネットワーク（MCN）を提案する。アクション予測が視線推定をガイドし、視線位置がアクション認識を向上させる。可 learnable な畳み込みカーネルと視覚的サリエンシーとのラテントフュージョンを用いて、アクション依存の視線予測と視線誘導型特徴集約を統合することで、公開のエゴセントリック動画データセットで最先端の性能を達成する。

ABSTRACT

In this work, we address two coupled tasks of gaze prediction and action recognition in egocentric videos by exploring their mutual context. Our assumption is that in the procedure of performing a manipulation task, what a person is doing determines where the person is looking at, and the gaze point reveals gaze and non-gaze regions which contain important and complementary information about the undergoing action. We propose a novel mutual context network (MCN) that jointly learns action-dependent gaze prediction and gaze-guided action recognition in an end-to-end manner. Experiments on public egocentric video datasets demonstrate that our MCN achieves state-of-the-art performance of both gaze prediction and action recognition.

研究の動機と目的

• エゴセントリック動画において強い相関関係を示す視線推定とアクション認識を独立したタスクとして扱う従来手法の限界を是正すること。
• 特にサリエンシーのみでは不十分なごみくずだらけのシーンにおいて、アクションコンテキストを組み込むことで視線推定の正確性を向上させること。
• 関連するおよび補完的な領域に注目することで、視線誘導型空間的特徴集約を活用し、アクション認識を強化すること。
• 視線とアクションの間で双方向的コンテキストをモデル化し、エンドツーエンドの共同学習により両タスクの性能を同時に向上させること。
• 失敗事例を分析し、特にアクション境界における注視転移の問題を特定すること。

提案手法

• MCNフレームワークは、エゴセントリック動画フレームから特徴を抽出するバックボーンネットワークを用いる。
• アクションベースの視線予測モジュールは、予測されたアクションの尤度から畳み込みカーネルを生成し、特徴マップ内のアクション関連領域に空間的注視を集中させる。
• 視線誘導型アクション認識モジュールは、予測された視線位置を用いて視線領域および非視線領域からの特徴を選択的に集約し、より良いアクション分類を実現する。
• 視覚的サリエンシー地図は、アクションコンテキスト付きの視線予測とラテントフュージョンされ、耐障害性と正確性が向上する。
• 共有された特徴表現を用いて、視線タスクおよびアクションタスクの両方に対する共同監督により、エンドツーエンドでネットワークを訓練する。
• 最終的な視線予測のため、低レベルのサリエンシーと高レベルのアクションコンテキストを組み合わせるラテントフュージョン戦略を組み込む。

実験結果

リサーチクエスチョン

• RQ1 アクションコンテキストは、特にごみくずだらけや曖昧なシーンにおけるエゴセントリック動画の視線推定を改善できるか？
• RQ2 視線誘導型特徴集約は、関連するおよび補完的な視覚領域に注目することで、アクション認識性能を向上させられるか？
• RQ3 相互コンテキストによる視線とアクションの共同モデリングは、独立または単方向モデリングよりも優れた性能をもたらすか？
• RQ4 アクション認識が失敗した場合、視線推定にどのような影響が及ぶか？モデルはそのような誤り伝搬を緩和できるか？
• RQ5 モデルは連続するアクション間での注視転移を捉えることができるか？特に、アクションが完了する前から将来のターゲットに視線を移す場合に注目する。

主な発見

• MCNは、複数の公開エゴセントリック動画データセットにおいて、視線推定およびアクション認識の両タスクで最先端の性能を達成する。
• EGTEAデータセットでは、アクション認識が正しく行われた場合のAAEは5.68、失敗した場合のAAEは6.01であり、アクションから視線への誤り伝搬が限定的であることが示された。
• 視線誘導型アクション認識モジュールは、視線領域および非視線領域からの特徴を選択的に集約することで、分類能を向上させた。
• アクションベースの視線予測モジュールは、たとえば「パンを置く」の際にはフライパンに注視し、「パンを取る」の際にはパンに注視するといった、アクション依存の視線パターンを効果的に学習した。
• 失敗事例の分析から、モデルはアクション間の視線転移、特にアクションが完了する前から将来のターゲットに視線を移す場合に苦労することが判明した。
• 非トリムド動画で学習された先行手法と比較すると、AAEでは先行手法が優れている（4.83 vs. 5.74）が、トリムドデータではMCNが優れている。これは、制御されたシーケンスにおいてアクションコンテキストの利点が顕著であることを示している。