[論文レビュー] Non-Autoregressive Coarse-to-Fine Video Captioning

Bang Yang, Yuexian Zou+2 more|arXiv (Cornell University)|Nov 27, 2019

Multimodal Machine Learning Applications被引用数 6

ひとこと要約

本論文では、最初に並列に視覚的単語（名詞および動詞）を生成して粗い「テンプレート」を形成し、その後に専用の復号アルゴリズムを用いて段階的に改善することで、推論速度とキャプション品質を向上させる非自己回帰的粗いから細かい動画キャプションモデルを提案する。この手法は、MSVDおよびMSR-VTTベンチマークで最先端の性能を達成し、自己回帰モデルと比較して3.2倍高速な推論を実現するとともに、多様性と文の自然さが優れている。

ABSTRACT

It is encouraged to see that progress has been made to bridge videos and natural language. However, mainstream video captioning methods suffer from slow inference speed due to the sequential manner of autoregressive decoding, and prefer generating generic descriptions due to the insufficient training of visual words (e.g., nouns and verbs) and inadequate decoding paradigm. In this paper, we propose a non-autoregressive decoding based model with a coarse-to-fine captioning procedure to alleviate these defects. In implementations, we employ a bi-directional self-attention based network as our language model for achieving inference speedup, based on which we decompose the captioning procedure into two stages, where the model has different focuses. Specifically, given that visual words determine the semantic correctness of captions, we design a mechanism of generating visual words to not only promote the training of scene-related words but also capture relevant details from videos to construct a coarse-grained sentence "template". Thereafter, we devise dedicated decoding algorithms that fill in the "template" with suitable words and modify inappropriate phrasing via iterative refinement to obtain a fine-grained description. Extensive experiments on two mainstream video captioning benchmarks, i.e., MSVD and MSR-VTT, demonstrate that our approach achieves state-of-the-art performance, generates diverse descriptions, and obtains high inference efficiency. Our code is available at https://github.com/yangbang18/Non-Autoregressive-Video-Captioning.

研究の動機と目的

• 逐次的復号による自己回帰的動画キャプションモデルの推論速度の遅さを解決すること。
• 訓練データにおいてしばしば不足しがちな視覚的に根拠のある単語（例：名詞や動詞）の訓練を改善することで、キャプション品質を向上させること。
• 非自己回帰的モデルが意味的正確性や文の自然さを十分に捉えられないという限界を、2段階の粗いから細かいキャプション生成プロセスによって克服すること。
• 単語レベルの改善をサポートする新しい復号パラダイムを用いて、高速で多様かつ正確なキャプション生成を実現すること。

提案手法

• 任意の語のサブセットを並列に予測できるように、マスク言語モデルで訓練された双方向自己注意機構を備えた言語モデルを採用する。
• 最初にキービジュアル単語（名詞および動詞）を予測することで、粗い文のテンプレートを形成する視覚的単語生成機構を導入する。
• 2段階の復号プロセスを採用：まずテンプレートに適切な語を埋め込み、次に信頼度が低いまたは誤った語を段階的に改善する。
• 動的な再予測が可能で、文の自然さと関連性を向上させる、CT-MP、CT-EF、CT-L2Rといった適応的復号アルゴリズムを適用する。
• 非自己回帰的生成を可能にしつつも強い文脈的依存関係を維持できるように、マスク言語モデルの目的関数を活用する。
• 訓練中に視覚的単語の正確性に重点を置く専用の損失関数を用いることで、意味的根拠を強化する。

実験結果

リサーチクエスチョン

• RQ1 非自己回帰的復号は、動画キャプションにおいて品質を損なわせることなく、高速な推論を達成できるか？
• RQ2 視覚的単語の生成を優先する粗いから細かいアプローチは、より正確で多様なキャプションを生成するか？
• RQ3 信頼度が低い語の段階的改善は、非自己回帰的キャプションにおいて文の自然さと詳細の捉えを向上させられるか？
• RQ4 本手法は、自己回帰的および標準的な非自己回帰的ベースラインと比較して、速度、正確性、多様性の観点で優れているか？

主な発見

• NACFモデルは、MSVDおよびMSR-VTTの両ベンチマークで最先端の性能を達成し、それぞれCIDEr-Dスコアが114.4および42.47を記録し、従来手法を上回った。
• MSR-VTTでは、語彙使用率が51.8%、新語スコアが51.4%を達成し、優れたキャプションの多様性を示した。
• MSVDでは、自己回帰モデル（例：AR-B with B=5）と比較して、最大3.2倍の高速な推論を達成し、性能の低下なしに実現した。
• CT-MPおよびCT-EF復号アルゴリズムは、CT-L2Rを著しく上回り、一貫した生成ではなく適応的生成の必要性を示した。
• 定性的な結果から、NACFは自己回帰的および非自己回帰的ベースラインと比較して、キービジュアル要因（例：'roof'、'lab'、'spongebob'）をよりよく捉えていることがわかった。
• 失敗事例は、視覚的単語の生成が不十分であることに起因しており、視覚的単語の予測を改善すればさらなる性能向上が期待できる。