[論文レビュー] Non-Autoregressive Video Captioning with Iterative Refinement

Bang Yang, Fenglin Liu+1 more|arXiv (Cornell University)|Nov 27, 2019

Multimodal Machine Learning Applications被引用数 6

ひとこと要約

本稿では、反復的改善を用いた非自己回帰的動画キャプション生成モデルを提案する。人間のキャプション作成を模倣するもので、まず顕著な視覚的特徴を捉え、その後で並列に一貫性があり多様なキャプションを生成する。これにより推論速度が著しく向上する。外部の補助スコアリングを統合して単語レベルの改善を誘導することで、優れたキャプション品質と多様性を達成し、自己回帰モデルと比較して性能が僅かに5%低下するにとどまる。

ABSTRACT

Existing state-of-the-art autoregressive video captioning methods (ARVC) generate captions sequentially, which leads to low inference efficiency. Moreover, the word-by-word generation process does not fit human intuition of comprehending video contents (i.e., first capturing the salient visual information and then generating well-organized descriptions), resulting in unsatisfied caption diversity. In order to press close to the human manner of comprehending video contents and writing captions, this paper proposes a non-autoregressive video captioning (NAVC) model with iterative refinement. We then further propose to exploit external auxiliary scoring information to assist the iterative refinement process, which can help the model focus on the inappropriate words more accurately. Experimental results on two mainstream benchmarks, i.e., MSVD and MSR-VTT, show that our proposed method generates more felicitous and diverse captions with a generally faster decoding speed, at the cost of up to 5% caption quality compared with the autoregressive counterpart. In particular, the proposal of using auxiliary scoring information not only improves non-autoregressive performance by a large margin, but is also beneficial for the caption diversity.

研究の動機と目的

• 逐次的に単語を生成する自己回帰的動画キャプション（ARVC）手法の非効率性と多様性の欠如に取り組むこと。
• まずキービジュアルコンテンツを抽出してから記述を生成することで、人間の直感に近い非自己回帰的手法を開発すること。
• 逐次的生成のボトル neck を回避するため、反復的改善を用いてキャプションの品質と多様性を向上させること。
• 不適切または低品質な単語を補正することに焦点を当て、外部の補助スコアリングを用いて改善を誘導すること。
• 最先端の自己回帰モデルと比較して、競争力のある性能を維持しながら、より高速な推論速度を達成すること。

提案手法

• 視覚的特徴抽出とキャプション生成を分離する非自己回帰的動画キャプションフレームワークを提案し、並列デコードを可能にする。
• 予測を複数ステップにわたり段階的に是正する反復的改善メカニズムを導入し、文の流れや正確性を向上させる。
• 事前学習モデルや言語的指標からの外部補助スコアリング（例：pre-trained models や linguistic metrics）を統合し、最適でない単語を特定する。
• スコアリング信号をソフトなアテンションマスクとして用い、誤りの可能性が高く文の流れが悪い単語を改善の優先対象とする。
• 複数段階の訓練戦略を採用し、モデルが正解キャプションと予測キャプションの両方を用いて予測を改善するように学習する。
• 対照学習や類似手法を活用し、改善後の出力をリファレンスキャプションと整合させつつ、多様性を維持する。

実験結果

リサーチクエスチョン

• RQ1 反復的改善を用いた非自己回帰的動画キャプションモデルは、自己回帰モデルと比較してより多様で自然なキャプションを生成できるか？
• RQ2 外部補助スコアリングの統合により、非自己回帰的キャプションにおける単語レベルの改善の正確性と効率性が向上するか？
• RQ3 反復的改善は、非自己回帰的モデルと自己回帰的モデルとの性能格差をどの程度縮小できるか？
• RQ4 高いキャプション品質を維持しながら、自己回帰ベースラインと比較してモデルの推論速度はどの程度向上するか？
• RQ5 補助スコアリングは、全体の性能を低下させることなくキャプションの多様性を向上させることができるか？

主な発見

• 本手法は、並列デコードと非自己回帰的生成のおかげで、自己回帰的モデルと比較して著しく高速な推論速度を達成する。
• 特に補助スコアリングを用いることで、繰り返しの少ないより良い単語レベルの補正が可能となり、キャプションの多様性が顕著に向上する。
• MSVD および MSR-VTT において、最先端の自己回帰的モデルと比較してわずかに5%の性能低下にとどまり、高いキャプション品質を維持している。
• 補助スコアリングの使用により、非自己回帰的キャプションにおいて顕著な性能向上が得られ、特に低信頼度または誤った単語の補正に有効である。
• 反復的改善により、複数ステップにわたり予測を改善することで、より一貫性があり文脈的に正確なキャプションを生成できる。
• 自動評価指標および人間評価の両面で、既存の非自己回帰的モデルを上回るキャプションの品質と多様性を達成している。