[論文レビュー] DiscrimNet: Semi-Supervised Action Recognition from Videos using Generative Adversarial Networks

Unaiza Ahsan|arXiv (Cornell University)|Jan 22, 2018

Human Pose and Action Recognition参考文献 43被引用数 23

ひとこと要約

本稿では、事前学習済みのDCGAN識別器を動画行動認識の特徴抽出器として活用する半教師あり行動認識フレームワーク、DiscrimNetを提案する。運動の符号化や弱い教師信号を一切使用せず、外観特徴のみを用いることで、UCF101（50.12%の正確性）およびHMDB51（21.0%の正確性）で最先端または競争力のある性能を達成し、GANベースの教師なし事前学習が動画表現学習に有効であることを示している。

ABSTRACT

We propose an action recognition framework using Gen- erative Adversarial Networks. Our model involves train- ing a deep convolutional generative adversarial network (DCGAN) using a large video activity dataset without la- bel information. Then we use the trained discriminator from the GAN model as an unsupervised pre-training step and fine-tune the trained discriminator model on a labeled dataset to recognize human activities. We determine good network architectural and hyperparameter settings for us- ing the discriminator from DCGAN as a trained model to learn useful representations for action recognition. Our semi-supervised framework using only appearance infor- mation achieves superior or comparable performance to the current state-of-the-art semi-supervised action recog- nition methods on two challenging video activity datasets: UCF101 and HMDB51.

研究の動機と目的

• 行動認識におけるラベル付き動画データの不足に取り組むために、大規模なラベルなし動画データセットを活用する。
• ラベルなし動画で事前学習されたGAN識別器が、行動認識のための有効な特徴抽出器として機能するかどうかを調査する。
• 動画行動認識において、手動の特徴工学や動画フレーム符号化、あるいは複雑なサンプリング戦略の必要性を排除する。
• 標準ベンチマーク上で、外観特徴のみの教師なし事前学習の性能を最先端の半教師あり手法と比較する。
• GANベースの事前学習が、時間的整合性の教師信号なしに強力なドメイン一般化と表現学習を可能にすることを示す。

提案手法

• 大規模なラベルなし動画データセット上で深層畳み込みGAN（DCGAN）を訓練し、実際の動画フレームと生成されたフレームを区別する識別器を学習する。
• 事前学習済みの識別器を固定された特徴抽出器として使用し、行動認識用のネットワークをその学習済み重みで初期化する。
• クロスエントロピー損失を用いて、小規模なラベル付きデータセット（UCF101またはHMDB51）上で識別器のヘッドを微調整して行動分類を行う。
• 異なる層（例：CONV4、CONV5）からの抽出特徴を用いて線形SVMで性能を評価するか、エンドツーエンドの微調整を行う。
• 時間順序予測、運動符号化、またはシーケンス検証に依存する複数の最先端の半教師あり手法と本手法を比較する。
• 光流出や運動符号化、時間的整合性制約を一切使用せず、RGBフレームの外観のみを入力とする。

実験結果

リサーチクエスチョン

• RQ1 ラベルなし動画で事前学習されたGAN識別器は、ラベルなしデータを一切使用せずに、有用な動画表現を学習できるか？
• RQ2 GAN識別器を用いた外観ベースの教師なし事前学習は、時間的順序や運動特徴に依存する最先端の半教師あり手法を上回るか、同等の性能を達成できるか？
• RQ3 事前学習時にHMDB51のデータを一切使用しなくても、事前学習済みの識別器がHMDB51の行動認識に一般化できるか？
• RQ4 ネットワークアーキテクチャやハイパーパrameterの選択が、動画行動認識におけるGANベースの事前学習の性能にどの程度影響を及えるか？
• RQ5 提案手法により、動画表現学習における弱い教師信号（フレーム順序や運動一貫性）の必要性が排除できるか？

主な発見

• DiscrimNetは、線形SVMを用いてCONV4とCONV5の特徴を組み合わせた結果、UCF101で50.12%のトップ1正確性を達成し、O3N（60.3%）やOPN（56.3%）といった最先端手法を上回る性能を発揮したが、これは外観特徴のみを用いた場合である。
• HMDB51では、微調整後に21.0%の正確性を達成し、比較された半教師あり手法のほとんどを上回ったが、O3Nを除くすべての手法を上回った。なお、事前学習段階でHMDB51のデータは一切使用していない。
• 教師なし事前学習ステップが性能向上に顕著に寄与している：DiscrimNetで初期化されたモデルからの微調整ではUCF101で49.30%の正確性を達成したが、Xavier初期化ではわずか33.10%にとどまった。
• 運動符号化、時間的順序モデリング、弱い教師信号を一切使用せず、外観と adversarial 学習にのみ依存することで、競争力のある結果を達成した。
• 大規模なラベルなし動画データで事前学習されたGANの識別器は、強固で一般化性の高い表現を学習し、下流の行動認識タスクにうまく転送できる。
• 本手法は強力なドメイン適応を示しており、事前学習段階でHMDB51のデータを一切使用していなくても、効果的にHMDB51に一般化している。