[論文レビュー] Large-scale Video Classification guided by Batch Normalized LSTM Translator

Jae Hyeon Yoo|arXiv (Cornell University)|Jul 13, 2017

Video Analysis and Summarization被引用数 9

ひとこと要約

本稿では、バッチ正規化LSTM（BNLSTM）を用いた翻訳器を用いて、マルチラベル動画タグ付けを動画から文への翻訳タスクとして扱う、新しい動画分類フレームワークを提案する。ラベルを単語として扱い、スティリスティックゲーティングとバッチ正規化を組み合わせたガイド付きLSTMを活用することで、一般化性能が向上し、大規模なYouTube-8Mデータセットにおいて79.1%のGAPを達成する。

ABSTRACT

Youtube-8M dataset enhances the development of large-scale video recognition technology as ImageNet dataset has encouraged image classification, recognition and detection of artificial intelligence fields. For this large video dataset, it is a challenging task to classify a huge amount of multi-labels. By change of perspective, we propose a novel method by regarding labels as words. In details, we describe online learning approaches to multi-label video classification that are guided by deep recurrent neural networks for video to sentence translator. We designed the translator based on LSTMs and found out that a stochastic gating before the input of each LSTM cell can help us to design the structural details. In addition, we adopted batch normalizations into our models to improve our LSTM models. Since our models are feature extractors, they can be used with other classifiers. Finally we report improved validation results of our models on large-scale Youtube-8M datasets and discussions for the further improvement.

研究の動機と目的

• 変動する長さのシーケンスと未知のラベル分布を伴う大規模マルチラベル動画分類の課題に対処すること。
• 深層再帰的ネットワークを用いて、動画分類を動画から文への翻訳問題に再定式化する可能性を検討すること。
• フィードバックループ内でのバッチ正規化とスティリスティックゲーティング機構を用いてLSTMの一般化性能を向上させること。
• MoEを含む多様な下流分類器に対する、提案モデルの特徴抽出器としての有効性を評価すること。

提案手法

• 各ラベルベクトルを単語のシーケンスとして扱い、マルチラベル動画分類を動画から文への翻訳タスクに変換する。
• ベースLSTMモデルに、正解ラベルを確率βで組み込むガイド付きフィードバック機構を導入し、より良い隠れ状態の追跡を可能にする。
• 各LSTMセルの入力前にスティリスティックゲーティングを導入することで、学習ダイナミクスを向上させ、フィードバックのボトルネックを軽減する。
• LSTM層にバッチ正規化を適用することで（BNLSTM）、内部共変量シフトを低減し、収束を加速する。
• YouTube-8Mデータセットから事前に抽出されたInception CNN特徴量を用い、特徴量集約のベースラインとして平均プーリングを採用する。
• 最終的な特徴表現は、論理的分類器またはMoEモデルと組み合わせて分類に使用し、トランスファーラーニングとモデルの拡張性を実現する。

実験結果

リサーチクエスチョン

• RQ1 再帰的ニューラルネットワークを用いて、マルチラベル動画分類を動画から文への翻訳問題に効果的に再定式化できるか？
• RQ2 異なるβ値でのガイド付きフィードバックは、動画分類におけるLSTMの性能と一般化にどのように影響するか？
• RQ3 大規模動画認識におけるLSTMベースの特徴抽出器において、バッチ正規化の影響は何か？
• RQ4 スティリスティックゲーティングとバッチ正規化を組み合わせることで一貫した性能向上が得られるか、それとも安定性に妥協が生じるか？
• RQ5 提案されたBNLSTMモデルは、MoEを含む多様な下流分類器の強力な特徴抽出器として機能できるか？

主な発見

• 正解ラベルを注入しないβ = 0.0のガイド付きLSTMが76.3%のGAPを達成し、β > 0.0の設定を上回った。これは、フィードバックループを完全に活用することで性能が向上することを示している。
• 論理的分類器を用いたBNLSTMモデルは78.3%のGAPを達成し、ベースモデル（75.9%）およびBN層のみを備えたモデル（77.9%）を顕著に上回った。
• BNLSTMとMoE分類器の組み合わせにより、79.1%の最高の検証性能（GAP）を達成し、モデルの相乗効果とスケーラビリティの有効性を示した。
• BN層とBNLSTMの両方を追加しても、BNLSTM単体よりも良い結果が得られなかった。これは、異なる集団統計を持つ複数のBN層が、不安定性を引き起こす可能性を示唆している。
• ガイド付きLSTMにおける各単語の投影ごとの個別バイナリクロスエントロピーの使用により、ソフトマックスのボトルネックが解消され、ベースモデルよりも学習が加速した。
• モデルの結果から、平均プーリングではフレーム順序情報が失われる可能性があることが示され、LSTMエンコーダーやアテンション機構に置き換えることでさらなる性能向上が期待できる。