[論文レビュー] GAN for Vision, KG for Relation: a Two-stage Deep Network for Zero-shot Action Recognition

Bin Sun, Dehui Kong+4 more|arXiv (Cornell University)|May 25, 2021

Human Pose and Action Recognition参考文献 48被引用数 7

ひとこと要約

本稿では、未学習行動の特徴を生成するための条件付きワサーベインGANと、知識グラフ上でグラフアテンションネットワークを用いた意味的一般化の向上を組み合わせた、2段階のディーブニューラーであるFGGAを提案する。本手法は、UCF101で37.6%、HMDB51で36.4%の調和平均精度を達成し、特徴生成と動的関係モデリングの両方を活用することで、先行手法を上回る最先端の性能を発揮する。

ABSTRACT

Zero-shot action recognition can recognize samples of unseen classes that are unavailable in training by exploring common latent semantic representation in samples. However, most methods neglected the connotative relation and extensional relation between the action classes, which leads to the poor generalization ability of the zero-shot learning. Furthermore, the learned classifier incline to predict the samples of seen class, which leads to poor classification performance. To solve the above problems, we propose a two-stage deep neural network for zero-shot action recognition, which consists of a feature generation sub-network serving as the sampling stage and a graph attention sub-network serving as the classification stage. In the sampling stage, we utilize a generative adversarial networks (GAN) trained by action features and word vectors of seen classes to synthesize the action features of unseen classes, which can balance the training sample data of seen classes and unseen classes. In the classification stage, we construct a knowledge graph (KG) based on the relationship between word vectors of action classes and related objects, and propose a graph convolution network (GCN) based on attention mechanism, which dynamically updates the relationship between action classes and objects, and enhances the generalization ability of zero-shot learning. In both stages, we all use word vectors as bridges for feature generation and classifier generalization from seen classes to unseen classes. We compare our method with state-of-the-art methods on UCF101 and HMDB51 datasets. Experimental results show that our proposed method improves the classification performance of the trained classifier and achieves higher accuracy.

研究の動機と目的

• 行動クラス間の意味的関係が無視されることによるゼロショット行動認識の一般化性能の低さを是正すること。
• 訓練中に未学習クラスの特徴を合成することで、クラスの不均衡を軽減すること。
• 構造的な知識グラフの関係を活用することで、未学習クラスにおける分類器の性能を向上させること。
• アテンションベースのグラフ畳み込みネットワークを用いて、行動とオブジェクト間の関係を動的にモデリングすること。
• 視覚的特徴と意味的知識の間のクロスモーダルブリッジを提供する単語ベクトルを統合し、ゼロショット転移を可能にすること。

提案手法

• 追加の損失項を備えた条件付きワサーベインGANが、学習済みクラスの特徴と単語ベクトルを用いて、未学習行動クラスの合成特徴を生成する。
• 行動クラスと関連オブジェクトの単語ベクトルから知識グラフを構築し、意味的関係（含意的・拡張的）を符号化する。
• アテンション機構を備えたグラフ畳み込みネットワークが、ノード表現とエッジ重みを動的に更新し、知識グラフ内の進化する関係をモデリングする。
• 単語ベクトルが視覚的特徴と意味的知識の間のクロスモーダルブリッジとして機能し、学習済みクラスから未学習クラスへのゼロショット転移を可能にする。
• 2段階のフレームワークでは、まずサンプリング段階で合成特徴を生成し、次に分類段階でアテンションベースのGCNを用いて分類する。
• 特徴生成の安定化と一般化性能の向上を図るため、サイクル整合性損失と敵対的損失を組み合わせて、エンドツーエンドでモデルを訓練する。

実験結果

リサーチクエスチョン

• RQ1 生成的敵対的ネットワークは、未学習行動クラスのための現実的特徴を効果的に合成できるか？
• RQ2 動的関係モデリングを備えた知識グラフは、静的グラフ構造を上回るゼロショット一般化を実現できるか？
• RQ3 視覚的特徴と意味的単語ベクトルを統合することで、未学習行動クラスにおける分類器性能が向上するか？
• RQ4 固定隣接行列と比較して、GCNにおけるアテンション機構は行動-オブジェクト関係のモデリングをどの程度改善するか？
• RQ5 特徴生成と知識グラフ推論の組み合わせにより、最先端手法と比較して優れたゼロショット認識精度が達成できるか？

主な発見

• FGGAはUCF101で37.6%、HMDB51で36.4%の調和平均精度を達成し、CEWGAN や CLSWGAN を含む最先端手法を上回る性能を発揮した。
• アブレーションスタディの結果、特徴生成ネットワークとグラフアテンション機構の両方が不可欠であることが確認され、いずれかを削除すると性能が著しく低下した。
• 単語ベクトルをGoogleNewsで再訓練しても、HMDB51で31.5%、UCF101で27.8%の高い性能を維持した。これは、埋め込みの変動に対して強いロバストネスを示している。
• 最適な特徴次元は4096であり、低次元（例：512）では性能が著しく低下し、GCN層を3〜4層を超えて深くすると過学習が生じた。
• グラフアテンション機構により、ノード間の関係が動的に適応可能となり、固定GCNモデルと比較して一般化性能が向上した。
• GAN学習にサイクル整合性損失を組み込むことで、特徴生成が安定化し、未学習クラスへの分類器の一般化性能が向上した。