[論文レビュー] Learning to Localize and Align Fine-Grained Actions to Sparse Instructions

Meera Hahn, Nataniel Ruiz+3 more|arXiv (Cornell University)|Sep 22, 2018

Multimodal Machine Learning Applications参考文献 28被引用数 8

ひとこと要約

本論文では、エゴセントリックな手がかりを用いて、最初の人物視点動画におけるスパARSEなレシピ手順と細分化された行動をアライメントするための新規フレームワークを提案する。行動提案を生成した後、物体認識と言語的整合性を用いてアライメントを実行する。EGTEA Gaze+およびBristol Egocentric Object Interactionsデータセットにおいて、エゴセントリック動画に特化した改善された行動提案生成のおかげで、ベースライン手法よりも35.34%の向上を達成し、最先端の性能を発揮した。

ABSTRACT

Automatic generation of textual video descriptions that are time-aligned with video content is a long-standing goal in computer vision. The task is challenging due to the difficulty of bridging the semantic gap between the visual and natural language domains. This paper addresses the task of automatically generating an alignment between a set of instructions and a first person video demonstrating an activity. The sparse descriptions and ambiguity of written instructions create significant alignment challenges. The key to our approach is the use of egocentric cues to generate a concise set of action proposals, which are then matched to recipe steps using object recognition and computational linguistic techniques. We obtain promising results on both the Extended GTEA Gaze+ dataset and the Bristol Egocentric Object Interactions Dataset.

研究の動機と目的

• 非ナラティブな最初の人物視点動画における、スパARSEで曖昧なレシピ手順と細分化された行動をアライメントする課題に対処すること。
• 低リソースでスパARSEなテキスト環境における、自然言語記述と視覚的動画コンテンツの間の意味的ギャップを克服すること。
• 最初にエゴセントリックな手がかりを用いて行動セグメントを局所化し、次に物体検出とNLPを用いてそれらをレシピ手順にアライメントする2段階パイプラインを開発すること。
• 手首、頭部、視線の動きの手がかりを活用することで、最初の人物視点動画に特化した行動提案の品質を向上させること。
• 教師なしの言語的参照解決を用いて、ノイズの多い物体検出とスパARSEな言語的記述に対して耐性を持つことを示すこと。

提案手法

• 手の動き、頭部の動き、視線の動きを検出することで、最初の人物視点動画における行動の開始時刻と終了時刻を特定し、行動提案を生成する。
• インスタンスセグメンテーションおよび物体検出モデルを用いて、各行動セグメント中に操作された主な物体と副次的な物体を特定する。
• 言語的解析を用いて、レシピ手順を意味的コンponentsに分解する：行動（赤）、主な物体（青）、副次的な物体（灰色）。
• 行動-物体ペアとレシピ手順の間の時間的重複と、単語埋め込みに基づく意味的類似度を組み合わせたマルチモodal類似度スコアを計算する。
• スパARSEなレシピテキストにおける曖昧な言及を解消するために、教師なしの言語的参照解決を適用する。
• EGTEA Gaze+およびBristol Egocentric Object Interactionsデータセット上で、フレーム-ステップのアノテーションが存在しない状態で、パイプラインをエンドツーエンドに訓練・評価する。

実験結果

リサーチクエスチョン

• RQ1 手の動き、頭部の動き、視線といったエゴセントリックな手がかりは、スパARSEな指示アライメントのための最初の人物視点動画における行動提案品質を向上させることができるか？
• RQ2 スパARSEなレシピテキストは、濃厚なキャプションやナラティブ動画設定と比較して、動画-テキストアライメントシステムの性能にどのように影響を与えるか？
• RQ3 明示的なフレーム-ステップの教師信号が存在しない状況で、物体認識と言語的類似度がアライメント精度をどの程度向上させられるか？
• RQ4 ノイズの多い物体検出やスパARSEなレシピにおける曖昧な言語的参照に対して、アライメントシステムの耐性はどの程度高いか？
• RQ5 各コンポonent（行動提案、物体検出、類似度スコア計算）が、全体のアライメントパフォーマンスに果たす寄与度は何か？

主な発見

• 提案手法は、BEOIDでmAP 0.7641、EGTEAでmAP 0.4905を達成し、先行する動画-テキストアライメントベースラインを顕著に上回った。
• 一般的な行動提案からエゴセントリック・キューベースの提案に置き換えることで、mAPが35.34%の絶対的向上を示し、タスク特化型の行動提案生成の価値を裏付けた。
• 正解の行動セグメントを用いる場合、BEOIDでは6%、EGTEAでは7%の向上にとどまり、提案された行動提案手法が非常に効果的で、最適に近いことを示している。
• 物体認識の誤りに対してもシステムは耐性を示し、予測された物体を正解ラベルに代えると性能低下はわずかにとどまり、優れた汎化性能を示している。
• アブレーションスタディにより、時間的類似度と意味的類似度の両方が不可欠であることが確認され、いずれかを削除すると両データセットでmAPが40%以上低下した。
• BEOIDはEGTEAよりもレシピのスパARSITYが高いため、性能が劣ると予想されたが、実際にはBEOIDの方がEGTEAよりも優れた性能を示した。これは、BEOIDの高密度なレシピステップがアライメントに多くの文脈的手がかりを提供しているためである。