[論文レビュー] VideoGraph: Recognizing Minutes-Long Human Activities in Videos

Noureldien Hussein, Efstratios Gavves+1 more|arXiv (Cornell University)|May 13, 2019

Human Pose and Action Recognition参考文献 59被引用数 46

ひとこと要約

VideoGraph は learnable nodes と graph embeddings を用いたソフトなデータ駆動グラフ表現で minutes-long activities をモデル化し、Breakfast、Epic-Kitchens、Charades で改善を達成します。

ABSTRACT

Many human activities take minutes to unfold. To represent them, related works opt for statistical pooling, which neglects the temporal structure. Others opt for convolutional methods, as CNN and Non-Local. While successful in learning temporal concepts, they are short of modeling minutes-long temporal dependencies. We propose VideoGraph, a method to achieve the best of two worlds: represent minutes-long human activities and learn their underlying temporal structure. VideoGraph learns a graph-based representation for human activities. The graph, its nodes and edges are learned entirely from video datasets, making VideoGraph applicable to problems without node-level annotation. The result is improvements over related works on benchmarks: Epic-Kitchen and Breakfast. Besides, we demonstrate that VideoGraph is able to learn the temporal structure of human activities in minutes-long videos.

研究の動機と目的

• 長い時間的スパンにわたって展開する数分間の人間の活動の認識を動機づける。
• 時系列構造を保持するための、学習可能なノードと確率的エッジを備えたグラフ風表現を開発する。
• データから直接グラフノードを学習してノードレベルの注釈の必要を排除する。
• strong baselines に対して Breakfast、Epic-Kitchens、Charades で有効性を示す。

提案手法

• ノードが学習された潜在概念で、エッジが学習された関係で構成されるソフトな無向グラフで活動を表現する。
• ノード注目ブロックを用いて、セグメント特徴を学習済みノードと関連付けることでノード注目機能を生成し、ノード注釈なしで特徴を得る。
• 時系列およびノード間の関係を学習するグラフ埋め込み層を導入し、続いて空間畳み込みを適用してノード間の相互作用を捉える。
• バックボーンCNN（I3D または ResNet-152）でセグメント特徴を抽出する。1動画あたり64セグメント（8フレームセグメント）を処理してグラフ表現を形成する。
• クラス分類器は2つの全結合層とBatchNorm/ReLU を用く（単一ラベルは softmax、マルチラベルは sigmoid）。

実験結果

リサーチクエスチョン

• RQ1 learnable, data-driven graph が explicit なノード注釈なしで minutes-long activities を表現できるか。
• RQ2 グラフ埋め込み機構が長距離活動認識に必要な時系列遷移とノード間関係を捕捉するか。
• RQ3 VideoGraph は同じバックボーンで Breakfast、Epic-Kitchens、Charades において最先端のベースラインと比較してどの程度の性能を示すか。
• RQ4 時間的構造が認識性能に寄与する程度は、微細なアクション手がかりとどう相互作用するか。

主な発見

データセット	バックボーン	指標	値
Charades	I3D	mAP	37.8
Breakfast	ResNet-152	Acc	69.45
Breakfast	ResNet-152	mAP	63.14
Epic-Kitchens	I3D	mAP	55.32
Breakfast	I3D	Acc	69.45
Charades	I3D	mAP	32.9 (baseline)

• VideoGraph は同じバックボーン（I3D）を用いた場合、Charades、Breakfast、Epic-Kitchens のベースラインより改善を達成。
• Charades では I3D + VideoGraph が 37.8 mAP に達し、I3D 単独の 32.9 mAP を上回る。
• Breakfast（I3D バックボーン）では VideoGraph が 69.45% の精度と 63.14% の mAP を達成し、いくつかのベースラインを上回る。
• Epic-Kitchens（I3D バックボーン）では VideoGraph が 55.32% の mAP を達成し、Timeception および ActionVLAD 系の variants と競合。
• ResNet-152 バックボーンを使用すると、VideoGraph は Breakfast の精度を 69.45% に、Breakfast の mAP を 63.14% に改善し、I3D だけの場合の 58.61%/47.05% と比較。
• 潜在概念 Y の初期化は性能に影響を与える；Sobol 初期化は Epic-Kitchens および Charades で最良、Breakfast ではランダム初期化が Table 3 で最良。
• 可視化は学習中に学習済み潜在概念が分岐する（ペア間距離が増大）ことを示し、活動の解釈可能なノード関係を明らかにする（Figures 5–7）。
• VideoGraph は他のいくつかのベースラインよりも時間的構造（順序を意識）をより効果的に強制し、時間順序が崩れると性能が顕著に低下する一方で、順序なし手法（ActionVLAD など）ではそのような低下が見られない（Table 4）。