[論文レビュー] Alternative Semantic Representations for Zero-Shot Human Action Recognition

Qian Wang, Ke Chen|arXiv (Cornell University)|Jun 28, 2017

Human Pose and Action Recognition参考文献 22被引用数 4

ひとこと要約

本稿では、ゼロショット人体行動認識のための代替的意味的表現として、ウェブ検索から得た画像のテキスト記述およびディープ画像特徴を提案する。従来の属性や単語ベクトルと比較して顕著に優れた性能を発揮する。ウェブでアクセス可能な付加的情報を活用し、Fisher Vector や平均プーリングによって符号化することで、最小限のラベル付きデータで最先端の性能を達成する。特に、1クラスあたり5〜20枚の画像を用いる場合に顕著な効果を示す。

ABSTRACT

A proper semantic representation for encoding side information is key to the success of zero-shot learning. In this paper, we explore two alternative semantic representations especially for zero-shot human action recognition: textual descriptions of human actions and deep features extracted from still images relevant to human actions. Such side information are accessible on Web with little cost, which paves a new way in gaining side information for large-scale zero-shot human action recognition. We investigate different encoding methods to generate semantic representations for human actions from such side information. Based on our zero-shot visual recognition method, we conducted experiments on UCF101 and HMDB51 to evaluate two proposed semantic representations . The results suggest that our proposed text- and image-based semantic representations outperform traditional attributes and word vectors considerably for zero-shot human action recognition. In particular, the image-based semantic representations yield the favourable performance even though the representation is extracted from a small number of images per class.

研究の動機と目的

• 従来の属性や単語ベクトルといった伝統的な意味的表現の限界を、ゼロショット人体行動認識において解消すること。
• ウェブ検索でアクセス可能な、テキスト記述および行動関連画像を含むスケーラブルな付加的情報源を探索すること。
• このような付加的情報が意味的ギャップを埋め、ゼロショット認識性能を向上させることを評価すること。
• 1つの行動クラスあたり少数の画像でも、強力な意味的表現を生成できることを示すこと。

提案手法

• 行動クラス名を検索キーワードとして用い、ウェブから人体行動のテキスト記述を収集する。
• 事前学習済みの畳み込みニューラルネットワーク（例：GoogLeNet）を用いて、ウェブ検索で得られた静止画像からディープ畳み込み特徴を抽出する。
• Fisher Vector（FV）または平均プーリングを用いて画像特徴を符号化し、意味的表現を形成する。
• ウェブ記事からの文脈的なテキスト記述を組み合わせることで、単語ベクトルを強化する。
• 視覚的特徴を意味的埋め込みにマップするゼロショット学習フレームワークを用い、意味的距離を保持する。
• UCF101 および HMDB51 における誘導的および非誘導的 ZSL の設定で、画像およびテキストベースの意味的表現を併用する。

実験結果

リサーチクエスチョン

• RQ1 標準的な単語ベクトルと比較して、ウェブから得たテキスト記述は、ゼロショット人体行動認識の意味的表現を向上させることができるか？
• RQ2 ウェブ検索から得た行動関連画像は、ゼロショット行動認識のための有効な付加的情報として機能するか？
• RQ3 1行動クラスあたりの画像枚数が、画像ベースの意味的表現の性能に与える影響は何か？
• RQ4 画像ベースの表現は、属性ベースおよび単語ベクトルベースの表現よりも、ゼロショット行動認識で優れているか？
• RQ5 画像およびテキストベースの表現を組み合わせることで、さらに性能が向上するか？

主な発見

• 画像ベースの意味的表現は、UCF101 および HMDB51 の両方で従来の属性や単語ベクトルを上回り、UCF101 の非誘導的設定では 58.57±1.50% の正確性を達成した。
• 1クラスあたり5枚の画像を用いても、画像ベースの表現は単語ベクトルおよび属性を上回り、1クラスあたり40枚に達するまで性能が著しく向上した。
• HMDB51 では、1クラスあたり20枚の画像を用いることで、画像ベースの表現が単語ベクトルを上回り、約80枚に達するあたりで性能が頭打つようになった。
• Fisher Vector符号化（FFV）および平均特徴ベクトル（AFV）を用いた画像ベースの表現は、画像枚数の増加に伴い性能が向上するが、1クラスあたり40〜80枚を超えると増加率が鈍る。
• テキストベースの表現は画像ベースのものほど効果的ではないが、文脈的なウェブテキストを組み合わせることで、単語ベクトルや属性を上回る性能を示した。
• 初期の実験では、画像およびテキストベースの表現を組み合わせても、画像ベースの表現単体よりも性能が向上しなかった。これは、非補完的性やより良い融合戦略の必要性を示唆している。