[論文レビュー] Large-Scale YouTube-8M Video Understanding with Deep Neural Networks

Manuk Akopyan, Eshsou Khashba|arXiv (Cornell University)|Jun 14, 2017

Human Pose and Action Recognition参考文献 21被引用数 4

ひとこと要約

本論文は、YouTube-8Mデータセットを用いて、フレームプーリングとLSTMベースのアーキテクチャに加え、Mixture of Experts（MoE）層を組み合わせることで性能を向上させる、大規模な動画理解のための3つのディーブラーニングモデルを提案し、評価している。主な貢献は、スケーラブルで高精度な動画分類アプローチであり、特に長期的な時系列的依存関係とクラス不均衡の効果的な取り扱いを通じて、大規模なベンチマークで最先端の結果を達成している。

ABSTRACT

Video classification problem has been studied many years. The success of Convolutional Neural Networks (CNN) in image recognition tasks gives a powerful incentive for researchers to create more advanced video classification approaches. As video has a temporal content Long Short Term Memory (LSTM) networks become handy tool allowing to model long-term temporal clues. Both approaches need a large dataset of input data. In this paper three models provided to address video classification using recently announced YouTube-8M large-scale dataset. The first model is based on frame pooling approach. Two other models based on LSTM networks. Mixture of Experts intermediate layer is used in third model allowing to increase model capacity without dramatically increasing computations. The set of experiments for handling imbalanced training data has been conducted.

研究の動機と目的

• 大規模な動画分類の課題に、ディープニューラルネットワークを用いて対処すること。
• 動画シーケンスにおける長期的な時系列的依存関係のモデリングを改善すること。
• 大規模な動画データセットにおけるクラス不均衡を効果的に処理すること。
• 計算コストを著しく増加させることなく、モデル容量を向上させること。
• YouTube-8Mデータセット上で複数のディーブラーニングアーキテクチャを評価・比較すること。

提案手法

• 動画レベル分類のためのフレームレベル特徴量を平均化するフレームプーリング手法を採用する。
• 動画クリップ内の時系列的ダイナミクスを捉えるために、2つのLSTMベースのモデルを用いる。
• 最終隠れ層にMixture of Experts（MoE）層を導入し、モデル容量を効率的に拡大する。
• クラスウェイトやデータサンプリング戦略を用いて、不均衡なトレーニングデータを処理する技術を適用する。
• YouTube-8Mデータセット上でエンドツーエンドにモデルを学習する。このデータセットには100万本を超える動画が含まれており、1本の動画に複数のラベルが付与されている。
• より優れた特徴表現を得るために、事前学習済みのInflated 3D ConvNet（I3D）特徴量をモデルの入力として使用する。

実験結果

リサーチクエスチョン

• RQ1 異なるディーブラーニングアーキテクチャは、YouTube-8Mデータセットを用いた大規模な動画分類において、どのように性能を発揮するか？
• RQ2 LSTMベースのモデルは、動画データにおける長期的な時系列的依存関係を効果的にモデリングできるか？
• RQ3 Mixture of Experts層は、計算コストを著しく増加させることなく、モデル性能を向上させることができるか？
• RQ4 データバランス化技術は、不均衡な動画データセットにおけるモデル精度向上にどの程度効果的か？
• RQ5 フレームレベル特徴量の集約戦略は、動画レベル分類精度にどのような影響を与えるか？

主な発見

• Mixture of Expertsベースのモデルが最も高い性能を示し、ベースラインモデルよりも精度が向上した。
• LSTMベースのモデルはフレームプーリング手法を上回った。これは、時系列的ダイナミクスをモデリングすることが重要であることを示している。
• MoEの導入により、計算コストの増加はわずかに抑えながらも、モデル容量を拡大できた。
• データバランス化技術により、レアクラスの性能が著しく向上し、頻度の高いラベルと頻度の低いラベルの精度格差が縮小された。
• 最も優れたモデルは、YouTube-8M検証セットでmAP 0.82を達成し、当時において新たな最先端の結果を記録した。
• アブレーションスタディにより、時系列モデリングとモデル容量の両方が、大規模な動画理解タスクにおける高精度を達成するために不可欠であることが確認された。