[論文レビュー] Adaptive Feature Abstraction for Translating Video to Text

Yunchen Pu, Martin Renqiang Min+2 more|arXiv (Cornell University)|Nov 23, 2016

Multimodal Machine Learning Applications被引用数 5

ひとこと要約

本稿では、3次元畳み込みニューラルネットワーク（3D CNN）の複数の層および各層内の局所的空間時間的領域において、特徴の選択を段階的に行う新しいアテンションメカニズムを用いて、空間時間的特徴を能動的に選択する二重適応的特徴表現（dualAFR）モデルを提案する。3次元畳み込み変換による特徴の整合化と動的レイヤー単位のアテンションを採用することで、YouTube2Text、M-VAD、MSR-VTTの各ベンチマークで最先端の性能を達成し、固定レイヤー特徴や単一レベルアテンションを用いる手法を上回った。

ABSTRACT

Previous models for video captioning often use the output from a specific layer of a Convolutional Neural Network (CNN) as video features. However, the variable context-dependent semantics in the video may make it more appropriate to adaptively select features from the multiple CNN layers. We propose a new approach for generating adaptive spatiotemporal representations of videos for the captioning task. A novel attention mechanism is developed, that adaptively and sequentially focuses on different layers of CNN features (levels of feature "abstraction"), as well as local spatiotemporal regions of the feature maps at each layer. The proposed approach is evaluated on three benchmark datasets: YouTube2Text, M-VAD and MSR-VTT. Along with visualizing the results and how the model works, these experiments quantitatively demonstrate the effectiveness of the proposed adaptive spatiotemporal feature abstraction for translating videos to sentences with rich semantics.

研究の動機と目的

• 動画キャプション生成における固定レイヤーCNN特徴の限界、すなわち抽象化レベルに応じた文脈依存的意味を捉えられないことに対処すること。
• 特徴マップ内の特徴抽象化レベル（CNNレイヤー）と空間時間的位置の動的かつ文脈に適応した選択を可能にすること。
• 次元の不一致、アライメントの不備、レイヤー間での意味的ばらつきにより、多段階3D CNN特徴の比較が困難になる問題を克服すること。
• 階層的で適応的な特徴抽象化と空間時間的アテンションを統合したエンドツーエンドフレームワークにより、動画キャプション生成性能を向上させること。
• 自動評価指標と人的評価を用いて、固定レイヤーおよび多段階ベースライン手法と比較して優れた性能を示すことを実証すること。

提案手法

• 異なるCNNレイヤー（抽象化レベル）と、各レイヤーの特徴マップ内の局所的空間時間的領域を同時に注目する二重アテンション機構を導入する。
• 異なるC3Dレイヤー間の特徴を空間的・時間的に整合化するために、3次元畳み込み変換を用いることで、レイヤー間比較を可能にする。
• 現在のデコードステップと文脈に応じて、複数のレイヤーからの特徴を動的に重み付けするため、ソフトまたはハードアテンションメカニズムを採用する。
• 3次元畳み込みニューラルネットワーク（C3D）を動画エンコーダーとして用い、豊富な空間時間的特徴を抽出し、中間レイヤーを多段階抽象化に活用する。
• エンコーダ-デコーダアーキテクチャを実装し、デコーダー（LSTM）が語の生成中に適応的で多段階の特徴に注目する。
• 各レイヤーおよび空間的位置に対して文脈依存の重みを計算する学習可能なアテンションメカニズムを採用し、特徴の関連性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 固定レイヤー特徴抽出と比較して、特徴抽象化レベル（CNNレイヤー）の適応的選択は動画キャプション生成性能の向上に寄与するか？
• RQ2 異なるレイヤーと局所的空間時間的領域への同時に注目することは、生成キャプションの意味的豊かさと整合性を向上させるか？
• RQ3 3次元畳み込み変換は、レイヤー間特徴の一貫性をどのように向上させ、効果的な多段階アテンションを可能にするか？
• RQ4 提案手法は、ハイパーカラムや単一レイヤーのアテンションベースラインといった既存の多段階特徴手法を上回るか？
• RQ5 人的評価および定性的分析によって示されるように、モデルのアテンションメカニズムは人間の知覚に類似していると見なせるか？

主な発見

• dualAFRモデルは、YouTube2Text、M-VAD、MSR-VTTで最先端の性能を達成し、アンサンブルによるハードアテンションを用いた場合、CIDErスコアが51.41に達し、すべてのベースラインを上回った。
• MSR-VTTでは、BLEU-4スコアが45.01、METEORが29.98を記録し、最良のベースライン（C3D fc7 + pool4）を4.18ポイント上回った。
• YouTube2Textにおける人的評価では、dualAFRは強力なベースラインよりも関連性（27.53%）と一貫性（6.49%）で優れており、比較の67.69%が区別不能であった。
• 定性的分析により、抽象化レベルのアテンションが言語的構造と一致することが確認された—名詞には低レベル特徴に注目し、冠詞や前置詞のような機能語には高レベル特徴に注目している。
• C3D fc7 + pool4などの単一レイヤー特徴ベースラインや、ハイパーカラムのような多段階手法と比較して、dualAFRは顕著に優れた性能を示し、適応的レイヤー選択の価値を実証した。
• 3次元畳み込み変換の導入により、MLPベースの特徴投影と比較してパrameter数が削減され、一般化性能が向上した。