[論文レビュー] NITS-VC System for VATEX Video Captioning Challenge 2020

Alok Singh, Thoudam Doren Singh+1 more|arXiv (Cornell University)|Jun 7, 2020

Multimodal Machine Learning Applications参考文献 20被引用数 4

ひとこと要約

本論文は、VATEX 2020 ビデオキャプションチャレンジ向けに、C3Dに基づく視覚的特徴エンコーディングを用いたデュアルLSTMエンコーダデコーダアーキテクチャを採用した NITS-VC システムを提示する。モデルは要素ごとの乗算による視覚的および言語的特徴の融合を実行し、公開テストセットでは BLEU-4 スコア 0.20、非公開テストセットでは 0.22 を達成し、オープンドメインの英語ビデオキャプションにおいて優れた性能を示している。

ABSTRACT

Video captioning is process of summarising the content, event and action of the video into a short textual form which can be helpful in many research areas such as video guided machine translation, video sentiment analysis and providing aid to needy individual. In this paper, a system description of the framework used for VATEX-2020 video captioning challenge is presented. We employ an encoder-decoder based approach in which the visual features of the video are encoded using 3D convolutional neural network (C3D) and in the decoding phase two Long Short Term Memory (LSTM) recurrent networks are used in which visual features and input captions are fused separately and final output is generated by performing element-wise product between the output of both LSTMs. Our model is able to achieve BLEU scores of 0.20 and 0.22 on public and private test data sets respectively.

研究の動機と目的

• VATEX 2020 の多言語ビデオキャプションチャレンジ向けに、強固なビデオキャプションシステムを開発すること。
• 一貫性があり文脈的に関連性のある英語キャプションを生成することで、オープンドメインのビデオキャプションの課題に取り組むこと。
• 要素ごとの乗算を用いたデュアルLSTMアーキテクチャによる視覚的および言語的特徴の統合を通じて、キャプション品質を向上させること。
• BLEU、CIDEr、METEOR、ROUGE-L といった標準的な指標を用いて、公開および非公開テストセットでのシステムの評価を行うこと。
• C3D特徴とアテンションフリーのデュアルLSTMデコーディングの組み合わせが、ビデオキャプションにおいて有効であることを示すこと。

提案手法

• 視覚的特徴は、均等に分割された16フレームのビデオクリップに、事前学習済みの3次元畳み込みニューラルネットワーク（C3D）を適用して抽出される。
• C3Dの出力は、次元削減と冗長情報の除去を目的として、フィルターサイズ5の平均プーリングを経て処理される。
• 各セグメントからのプールド特徴量は、時間的関係を保持するために連結され、視覚的表現の系列を形成する。
• デコーダーには2つの独立した長短期記憶（LSTM）ネットワークを用いる：1つは視覚的特徴に条件付けられ、もう1つは入力キャプションに条件付けられる。両者の特徴は要素ごとの乗算により統合される。
• キャプション生成プロセスは <BOS> トークンで初期化され、 <EOS> トークンで終了し、グリーディデコーディングを用いて逐次的に単語を予測する。
• モデルは、Adam最適化法、ドロップアウト率0.5、両LSTMの隠れ層サイズ512、バッチサイズ64および256、全50エポックで交差エントロピー損失関数を用いて学習される。

実験結果

リサーチクエスチョン

• RQ1 要素ごとの特徴統合を用いたデュアルLSTMデコーダは、標準的な単一LSTMデコーダと比較して、正確なビデオキャプションを生成する上でどれほど有効であるか？
• RQ2 C3Dに基づく視覚的特徴抽出と平均プーリングの組み合わせは、ビデオフレーム内の冗長性を低減することで、キャプション生成性能を向上させられるか？
• RQ3 バッチサイズは、VATEXデータセットを用いたビデオキャプションタスクにおけるモデルの汎化性能と性能にどのような影響を及えるか？
• RQ4 提案されたシステムは、BLEU、CIDEr、METEOR、ROUGE-L といった標準評価指標において、最先端のモデルと比較してどのように差をつけるか？
• RQ5 要素ごとの乗算による視覚的および言語的特徴の統合は、キャプションの整合性および関連性をどれほど向上させるか？

主な発見

• システムは、公開テストセットで BLEU-4 スコア 0.20、非公開テストセットで 0.22 を達成し、オープンドメインのビデオキャプションにおいて優れた性能を示した。
• 非公開テストセットでの CIDEr スコアは 0.27 であり、n-gramの重複度と意味的関連性の両面で、基準キャプションとの整合性が良好であることを示している。
• 非公開テストセットでの BLEU-1 スコアは 0.65 であり、生成キャプションと基準キャプションとの間で高いユニグラム重複度を示している。
• METEOR スコアは両テストセットで安定して 0.18 を維持し、生成キャプションにおけるユニグラムの精度と再現率が高く、フレームの断片化が最小限に抑えられていることを示している。
• 非公開テストセットでの ROUGE-L スコアは 0.43 であり、生成キャプションと基準キャプション間の最長共通部分列の再現度が高く、文レベルでの整合性が良好であることを示している。
• バッチサイズが小さい（64）ほど、大きい（256）よりも性能が優れており、汎化性能が向上し、過学習が抑制されていることが示唆された。