[論文レビュー] MTLE: A Multitask Learning Encoder of Visual Feature Representations for Video and Movie Description

Oliver Nina, Washington García+2 more|arXiv (Cornell University)|Sep 19, 2018

Multimodal Machine Learning Applications参考文献 34被引用数 3

ひとこと要約

本稿では、意味的距離関数を用いて多様なキャプションペアを選択することで、双方向RNNエンコーダーと複数のデコーダーを共同で学習するマルチタスク学習エンコーダーデコーダーフレームワークMTLEを提案する。この手法は、複数のベンチマークで最先端の性能を達成し、視覚に障害がある人への有用性を人間評価で最も高く評価されたLSMDC 2017チャレンジで最高順位を獲得した。

ABSTRACT

Learning visual feature representations for video analysis is a daunting task that requires a large amount of training samples and a proper generalization framework. Many of the current state of the art methods for video captioning and movie description rely on simple encoding mechanisms through recurrent neural networks to encode temporal visual information extracted from video data. In this paper, we introduce a novel multitask encoder-decoder framework for automatic semantic description and captioning of video sequences. In contrast to current approaches, our method relies on distinct decoders that train a visual encoder in a multitask fashion. Our system does not depend solely on multiple labels and allows for a lack of training data working even with datasets where only one single annotation is viable per video. Our method shows improved performance over current state of the art methods in several metrics on multi-caption and single-caption datasets. To the best of our knowledge, our method is the first method to use a multitask approach for encoding video features. Our method demonstrates its robustness on the Large Scale Movie Description Challenge (LSMDC) 2017 where our method won the movie description task and its results were ranked among other competitors as the most helpful for the visually impaired.

研究の動機と目的

• 限られたまたはスパarselyなトレーニングアノテーションを持つ動画キャプションの文脈で、強力な視覚的特徴表現を学習する課題に対処すること。
• 単一デコーダーRNNベースのエンコーダーのバイアスと一般化性能の低さを、マルチタスク学習フレームワークを導入することで克服すること。
• 距離に基づく損失関数を用いて意味的多様性を活用することで、LSMDCのような1動画あたり1つのキャプションしか存在しないデータセットに対しても、効果的な学習と性能向上を実現すること。
• 複数のデコーダーが共にエンコーダーを学習し、キャプションを共有の意味的空間にマップするようにすることで、モデルの汎化性能を向上させること。
• 自動評価指標と人間評価の両方で優れた性能を発揮するフレームワークを構築すること、特に実世界のアクセシビリティ応用において優れた性能を発揮すること。

提案手法

• 各動画フレームから視覚的特徴を抽出するためのCNNを用い、その後に双方向RNNベースのエンコーダーを適用して1つの視覚的特徴表現を出力する。
• 各デコーダーがエンコーダー出力を条件としてキャプションを予測するマルチタスク学習設定において、エンコーダーと複数のデコーダーを共同で学習する。
• トレーニング中に各動画に対して意味的距離が最大となるキャプションペアを選択する意味的距離関数（SDF）を適用し、監視の多様性を保証する。
• 複数のキャプションペアからの監視を組み合わせた新しいマルチタスク損失関数を定式化し、単一キャプションデータでも正則化と一般化性能の向上を可能にする。
• デコーダーにソフトアテンション機構を適用し、キャプション生成時に関連する視覚的特徴に動的に注目できるようにする。
• バックプロパゲーションを用いてエンコーダーとデコーダーをエンドツーエンドで最適化し、すべてのデコーダーでエンコーダー重みを共有することで、視覚的表現学習の一貫性を維持する。

実験結果

リサーチクエスチョン

• RQ1 トレーニングデータがスパースィティや1動画あたり1つのキャプションに限定される状況下でも、マルチタスク学習フレームワークが、動画キャプションにおける視覚的特徴エンコーダーの汎化性能を向上させることができるか？
• RQ2 トレーニング中に意味的距離が最大となるキャプションペアを選択することで、より良い視覚的表現学習と向上したキャプション品質が達成できるか？
• RQ3 自動評価指標と人間評価の両面で、特にアクセシビリティ応用において、提案されたMTLEフレームワークは最先端の手法と比較して優れているか？
• RQ4 1つのエンコーダーを、意味的に多様なキャプションペアで学習された複数のデコーダーが効果的に共有できるか、性能の低下が生じないか？
• RQ5 マルチタスク損失関数は、個々のキャプションへのバイアスをどれほど軽減し、ゼロショットまたは低リソース環境でのロバストネスを向上させることができるか？

主な発見

• LSMDC 2017チャレンジにおいて、MTLEは視覚に障害がある人への有用性という観点で、Fcrerank（2.18）やPostProp（2.17）といった上位手法を上回る最高の人間評価スコア（2.50／5.0）を記録した。
• LSMDC 2017データセットにおいて、MTLEはCIDErスコア0.073を達成し、FuseNet（0.083）やAttn2l（0.073）といった強力な競合手法を上回った。BLEUスコアは0.003、METEORは0.052であった。
• 人間評価のヒストグラムにおいて、微細な誤りと重大な誤りの割合が最小であったことから、MTLEはキャプション品質の面でより高い信頼性を示した。
• 定性的な結果から、MTLEが生成するキャプションはしばしば人間レベルの性能に一致または近づいており、正解に存在しない属性（例：性別）を正しく特定するケースも確認された。
• MTLEはMSVD、MSR-VTT、TRECVID、LSMDCなど複数のデータセットで優れた汎化性能を示し、複数の指標でベースラインを一貫して上回った。
• フレームワークは、1動画あたり1つのキャプションしか存在しないデータセットに対しても、意味的多様性を活用する損失関数の正則化項を用いることで、効果的に対処できた。