[論文レビュー] Fine-grained Video Classification and Captioning

Farzaneh Mahdisoltani, Guillaume Berger+3 more|arXiv (Cornell University)|Apr 24, 2018

Human Pose and Action Recognition被引用数 28

ひとこと要約

本論文は、複数の粒度レベルにわたる共有特徴を備えたエンドツーエンドの深層ニューラルネットワークを提案し、細分化されたアクションでの学習が転移学習のための特徴品質を向上させることを示している。Something-Somethingデータセットにおいて、本モデルは細分化分類で最先端の性能を達成し、動画字幕生成の強力なベースラインを確立した。

ABSTRACT

We describe a DNN for video classification and captioning, trained end-to-end, with shared features, to solve tasks at different levels of granularity, exploring the link between granularity in a source task and the quality of learned features for transfer learning. For solving the new task domain in transfer learning, we freeze the trained encoder and fine-tune a neural net on the target domain. We train on the Something-Something dataset with over 220, 000 videos, and multiple levels of target granularity, including 50 action groups, 174 fine-grained action categories and captions. Classification and captioning with Something-Something are challenging because of the subtle differences between actions, applied to thousands of different object classes, and the diversity of captions penned by crowd actors. Our model performs better than existing classification baselines for SomethingSomething, with impressive fine-grained results. And it yields a strong baseline on the new Something-Something captioning task. Experiments reveal that training with more fine-grained tasks tends to produce better features for transfer learning.

研究の動機と目的

• ソースタスクの粒度が転移学習のための特徴品質に与える影響を調査すること。
• 動画分類と字幕生成を同時に実行できる統合型の深層学習モデルを構築すること。
• 細分化されたアクションの差が著しいものであり、多様な字幕が付与された挑戦的なSomething-Somethingデータセットにおけるモデルの性能を評価すること。
• Something-Somethingにおける新しい動画字幕生成タスクの強力なベースラインを確立すること。

提案手法

• モデルは、分類と字幕生成の両ヘッドに共有されるエンコーダーを用いて、動画クリップから特徴を抽出する。
• 複数の粒度レベルでエンドツーエンドに学習する：50の粗いアクショングループ、174の細分化されたアクションカテゴリ、および完全な字幕。
• 転移学習ではエンコーダーを固定し、ターゲットドメインで新しい分類器または字幕生成ヘッドをファインチューニングする。
• 時間的モデリングを3D畳み込みとアテンションメカニズムを用いて実現し、細分化されたアクションのダイナミクスを捉える。
• モデルは、多様なオブジェクトクラスと人手による字幕が付与された22万件以上のSomething-Somethingデータセットの動画で学習される。
• 転移学習は、エンコーダーを固定し、下流タスクで新しいヘッドをファインチューニングすることで実施される。

実験結果

リサーチクエスチョン

• RQ1 ソースタスクの粒度が、転移学習のための学習特徴の品質にどのように影響するか？
• RQ2 1つの共有エンコーダーが、複数の粒度レベルで動画分類と字幕生成を効果的にサポートできるか？
• RQ3 細分化されたアクションでの学習が、下流分類タスクのパフォーマンスを向上させるか？
• RQ4 本モデルは、Something-Somethingにおける新規に導入された動画字幕生成タスクでどの程度の性能を示すか？
• RQ5 粗いレベル、細分化されたレベル、および字幕生成のマルチレベルの監視が、特徴表現の品質に与える影響は何か？

主な発見

• 本モデルは、特に細分化されたアクション認識において、既存の分類ベースラインを上回る性能を示した。
• より多くの細分化タスクでの学習が、転移学習のための特徴表現を向上させることを示しており、下流タスクでのパフォーマンス向上が確認された。
• 本モデルは、Something-Somethingにおける新しい動画字幕生成タスクに対して強力なベースラインを確立し、多様で正確な字幕の生成を効果的に実現した。
• タスク間で共有される特徴は、特に細分化されたアクションの区別を含むソースデータがある場合、一般化性能を向上させる。
• マルチレベルの監視を伴うエンドツーエンド学習により、分類および字幕生成の両方のタスクで強固な表現が学習された。