[論文レビュー] Understanding Human Gaze Communication by Spatio-Temporal Graph Reasoning

Lifeng Fan, Wenguan Wang+3 more|arXiv (Cornell University)|Sep 4, 2019

Multimodal Machine Learning Applications参考文献 61被引用数 23

ひとこと要約

本稿では、社会的相互作用における人間の注視行動通信を対象として、大規模な動画データセットVACATIONを紹介し、原子レベルおよびイベントレベルの注視行動ダイナミクスをモデル化するための時空間的グラフニューラルネットワークを提案する。本手法は、時空間的グラフを介したメッセージパッシングを用いて詳細な注視タイプを推論し、エンコーダ・デコーダネットワークを用いて高レベルの通信イベントを処理する。原子レベル分類タスクで55.02%のトップ1精度、イベントレベルタスクで正解ラベルを用いた場合55.9%の精度を達成し、最先端性能を実現した。

ABSTRACT

This paper addresses a new problem of understanding human gaze communication in social videos from both atomic-level and event-level, which is significant for studying human social interactions. To tackle this novel and challenging problem, we contribute a large-scale video dataset, VACATION, which covers diverse daily social scenes and gaze communication behaviors with complete annotations of objects and human faces, human attention, and communication structures and labels in both atomic-level and event-level. Together with VACATION, we propose a spatio-temporal graph neural network to explicitly represent the diverse gaze interactions in the social scenes and to infer atomic-level gaze communication by message passing. We further propose an event network with encoder-decoder structure to predict the event-level gaze communication. Our experiments demonstrate that the proposed model improves various baselines significantly in predicting the atomic-level and event-level gaze

研究の動機と目的

• 社会的動画における人間の注視行動通信を、原子レベル（詳細な注視タイプ）およびイベントレベル（複雑な社会的イベント）の両観点から理解する課題に対処すること。
• 注視、顔、物体、通信構造の詳細なアノテーションを備えた大規模な動画データセットVACATIONを構築することで、注視行動通信の包括的ベンチマークを構築すること。
• メッセージパッシングと時系列モデリングを用いて動的注視相互作用を捉える、時空間的グラフ推論モデルを開発すること。
• 正確な注視行動通信推論を可能にすることで、人間-ロボット協働、バーチャルリアリティシミュレーション、自閉症の診断、認知モデリングの向上を図ること。

提案手法

• エージェントをノード、注視行動の相互作用をエッジとしてモデル化する時空間的グラフニューラルネットワークを提案。メッセージパッシングにより、原子レベルの注視行動タイプを推論する。
• 反復的メッセージパッシングを用いたGNNにより、時間経過に伴いエージェント間で注視の注目度と文脈を伝搬する。
• 原子行動の時系列的構成をモデル化するため、エンコーダ・デコーダアーキテクチャを用いてイベントレベルの注視行動通信予測を実行する。
• ResNet50（192-d）からのノード特徴量と位置情報を利用。隣接行列はアテンションメカニズムにより学習する。
• 3次元畳み込み層を用いて隣接行列と時系列的ダイナミクスを処理し、空間的・時系列的推論を統合的に可能にする。
• ノード特徴抽出、メッセージパッシングの反復回数、時系列モデリング部品のアブレーションスタディを実施し、設計選択の妥当性を検証する。

実験結果

リサーチクエスチョン

• RQ1 どのようにして、相互注視、注視回避、注視追従といった、社会的動画における詳細な注視行動パターン（原子レベル）を効果的にモデル化できるか？
• RQ2 静的視覚特徴を超えて、動的注視相互作用を捉えるために、時空間的グラフ構造が果たす役割は何か？
• RQ3 注視の共同注意や注視追従といった、長期的かつ高レベルの注視行動イベントを、原子行動の時系列的構成としてどのようにモデル化できるか？
• RQ4 正解ラベルを用いた原子レベルラベルを組み込むことで、イベントレベルの注視行動通信予測性能にどの程度向上効果が得られるか？
• RQ5 モデルの性能向上に最も寄与している主要な構成要素は何か。また、それらは推論プロセス内でどのように相互作用しているか？

主な発見

• 提案手法は、原子レベルの注視行動分類タスクで平均トップ1精度55.02%を達成し、多数の強力なベースラインを上回った。
• 正解ラベルを用いた場合、イベントレベルのモデルはトップ1精度55.9%に達し、階層的モデリングアプローチの有効性を示した。
• アブレーションスタディの結果、ResNet50ベースの192-dノード特徴量が最良の性能を示した。また、メッセージパッシングの反復回数を増やすことで精度が向上するが、一定回数を超えると劣化を示した。
• AdjMat-onlyベースラインは妥当な性能を示したが、完全なモデルに比べて顕著に劣っており、幾何的関係だけでは文脈的なシーン理解が欠如していると判断される。
• 明示的な時系列推論（LSTM）を備えたモデルは、隣接行列の暗黙的学習のみのバージョンを上回り、構造的な時系列モデリングの利点を示した。
• 定性的な結果から、モデルは空間的・時系列的推論により、さまざまな注視タイプを正しく同定しているが、微細な変化や急速に変化する注視行動、目が覆われた状態のための失敗ケースも観察された。