[論文レビュー] Towards Universal Representation for Unseen Action Recognition

Yi Zhu, Yang Long+3 more|arXiv (Cornell University)|Mar 22, 2018

Human Pose and Action Recognition参考文献 48被引用数 15

ひとこと要約

本稿では、非負行列分解（NMF）とジェンセン・シャノン発散（JSD）制約を組み合わせた新たなユニバーサル表現学習（URL）アルゴリズムを用いて、深層特徴とユニバーサル表現（UR）を提案する。この手法は、生成的多重インスタンス学習（GMIL）を用いて共有の視覚的・意味的「構成要素」を同定し、再訓練なしに新しいデータセットにおける未学習行動のゼロショット認識を可能にする。UCF101およびHMDB51ベンチマークにおいて、最先端の手法を上回る性能を示した。

ABSTRACT

Unseen Action Recognition (UAR) aims to recognise novel action categories without training examples. While previous methods focus on inner-dataset seen/unseen splits, this paper proposes a pipeline using a large-scale training source to achieve a Universal Representation (UR) that can generalise to a more realistic Cross-Dataset UAR (CD-UAR) scenario. We first address UAR as a Generalised Multiple-Instance Learning (GMIL) problem and discover 'building-blocks' from the large-scale ActivityNet dataset using distribution kernels. Essential visual and semantic components are preserved in a shared space to achieve the UR that can efficiently generalise to new datasets. Predicted UR exemplars can be improved by a simple semantic adaptation, and then an unseen action can be directly recognised using UR during the test. Without further training, extensive experiments manifest significant improvements over the UCF101 and HMDB51 benchmarks.

研究の動機と目的

• 既存のゼロショット行動認識手法が内側のデータセットにおける学習済み／未学習分割に依存するという限界を解消すること。
• 新しいデータに対して再訓練や微調整を必要とせず、多様なデータセットに一般化可能なユニバーサル表現（UR）を構築すること。
• 大規模なソースデータ（例：ActivityNet）を活用して、視覚的・意味的基盤を共有するように学習することで、効果的なクロスデータセットゼロショット行動認識を実現すること。
• 新しいJSD制約付きNMFフレームワークにより、視覚的・意味的特徴の共有成分と生成的成分を併存させることで、未学習行動への一般化を向上させること。

提案手法

• 本手法は、事前学習済みの畳み込みニューラルネットワーク（CNN）を用いて動画フレームから深層特徴を抽出し、行動を表す主要な「構成要素」を特定するため、生成的多重インスタンス学習（GMIL）を適用する。
• 視覚的・意味的モダリティを統合するために、ジェンセン・シャノン発散（JSD）制約を組み合わせた非負行列分解（NMF）を用いた新しいユニバーサル表現学習（URL）アルゴリズムを提案する。
• JSD制約により、ソースドメインとターゲットドメインの両方で生成的基底を保存することで、新しい視覚的・意味的分布へのバランスの取れた一般化が保証される。
• 視覚的UR基底とWord2vecから推定された未学習プロトタイプを一致させるために、トランスファー共同マッチング（TJM）層を用いた意味的ドメイン適応を適用する。
• 非負性とJSD制約の下で、視覚的・意味的特徴行列を因子分解することで、部品ベースで解釈可能な表現を学習する。
• 推論段階では、未学習行動が同じGMIL構成要素で符号化され、コサイン類似度を用いてURと照合されるため、追加の訓練なしに直接認識が可能になる。

実験結果

リサーチクエスチョン

• RQ1 大規模なソースデータセットから学習したユニバーサル表現は、まったく新しいデータセットにおける未学習行動に効果的に一般化できるか？
• RQ2 視覚的・意味的特徴をどのように共同因子分解することで、ドメインシフトに伴う共有成分と生成的成分を両方保存できるか？
• RQ3 NMFにJSD制約を組み込むことで、クロスデータセットゼロショット学習における未学習分布への一般化性能がどの程度向上するか？
• RQ4 提案手法のパイプラインは、ターゲットデータへの微調整を必要としないインダクティブおよびトランスダクティブなCD-UARシナリオにおいて、既存手法を上回るか？
• RQ5 URLフレームワークにおける基底空間の次元数は、性能にどの程度感度を示すか？

主な発見

• 提案されたユニバーサル表現（UR）は、インダクティブなCD-UARシナリオにおいてUCF101およびHMDB51ベンチマークで最先端の手法を顕著に上回り、データセット間での強力な一般化を示した。
• GMIL特徴にRBFカーネルを適用したベースライン手法の性能が、15.0%から19.8%に向上した。これは、本手法のフルフレームワークの有効性を示している。
• URLでJSD制約を除去（標準NMFを使用）した場合、性能が著しく低下した。これは、一般化を実現するための分布保存制約の必要性を裏付けている。
• TJMを用いたドメイン適応により、HMDB51におけるトランスダクティブCD-UARシナリオで性能が約5%向上した。これは、視覚的・意味的空間の一致にTJMが果たす役割を強調している。
• 本手法は基底空間のサイズに対して相対的に感度が低く、高次元・低次元の両方で同等の性能を示した。わずかな性能差しか観察されなかった。