[論文レビュー] Action2Vec: A Crossmodal Embedding Approach to Action Learning

Meera Hahn, Andrew Silva+1 more|arXiv (Cornell University)|Jan 2, 2019

Human Pose and Action Recognition参考文献 38被引用数 42

ひとこと要約

Action2Vecは、動画由来の時空間特徴と動詞ベースのWord2Vec埋め込みを組み合わせることにより、行動の結合視覚的意味埋め込み空間を構築し、ゼロショット行動認識と意味的アナロジー評価を可能にします。

ABSTRACT

We describe a novel cross-modal embedding space for actions, named Action2Vec, which combines linguistic cues from class labels with spatio-temporal features derived from video clips. Our approach uses a hierarchical recurrent network to capture the temporal structure of video features. We train our embedding using a joint loss that combines classification accuracy with similarity to Word2Vec semantics. We evaluate Action2Vec by performing zero shot action recognition and obtain state of the art results on three standard datasets. In addition, we present two novel analogy tests which quantify the extent to which our joint embedding captures distributional semantics. This is the first joint embedding space to combine verbs and action videos, and the first to be thoroughly evaluated with respect to its distributional semantics.

研究の動機と目的

• 動詞からの言語的手掛かりと動画由来の時空間特徴を融合させる結合埋め込み空間を動機づける。
• 動画クリップと対応する動詞を共通の埋め込み空間へマップするエンドツーエンドのアーキテクチャを開発する。
• ゼロショット行動認識を可能にし、類推テストと分布意味論によって意味構造を評価する。
• 複数モーダル空間における動詞埋め込みの意味的豊かさを定量化する評価手法を提案する。

提案手法

• 自己注意機構を備えた階層型再帰ニューラルネットワーク（HRNN）を用いて動画特徴をベクトルへエンコードする。
• コサインベースのペアワイズランキング損失とクロスエントロピー分類損失の2つを組み合わせてデュアル損失とする。
• 動画特徴をC3Dで表現し、500次元に縮約、2層HRNN（LSTM1とLSTM2）で処理し、Word2Vec動詞埋め込みと整列した300次元の射影へと終端させる。
• 特徴入力とLSTMsの間にソフトアテンションを組み込み、時系列構造を捉える。
• ハードネガティブマイニングとAdam最適化を用いて学習し、ロスのバランスをとるためにλスケーリングを用いる。
• 既存のWord2Vec動詞にクラス名をアノテーションし、複数語のクラス名には語の平均埋め込みを適用する。

実験結果

リサーチクエスチョン

• RQ1 アクションの結合型ビデオ-テキスト埋め込みは標準データセットで正確なゼロショット認識を支援できるか？
• RQ2 Action2Vecは動詞を共有しつつ名詞が異なるアクション間の意味的類似性を保持するか？
• RQ3 Action2Vec空間でのベクトル演算は意味の通る新規アクション記述子を生み出すか？
• RQ4 Action2Vec埋め込みは動詞のWordNetとWord2Vecからの分布意味論とどの程度整合するか？

主な発見

• Action2VecはHMDB51、UCF101、Kineticsにおける最先端のゼロショット行動認識を達成。
• 埋め込み空間は視覚的に類似した行動を意味的にクラスタリングし、クロスモーダル空間に局所性を示す。
• WordNetベースの混同行列は最もWord2Vecと相関し、Action2Vecはデータセット間で意味構造をWord2Vecに近づけて従う。
• Action2Vecでのベクトル演算は意味のあるアナロジーを示し、行動に対する分布意味論的性質を支持する。
• アブレーション研究はデュアル損失とソフトアテンションが、それらを欠く変体よりZSL性能を改善することを示す。