[論文レビュー] MART: Memory-Augmented Recurrent Transformer for Coherent Video Paragraph Captioning

Jie Lei, Liwei Wang+4 more|arXiv (Cornell University)|May 11, 2020

Multimodal Machine Learning Applications参考文献 36被引用数 12

ひとこと要約

本稿では、一貫性のある動画パラグラフキャプション生成を実現するためのメモリ拡張型再帰的トランスフォーマー（MART）を提案する。MARTは、動画セグメントと以前の文の履歴を要約するメモリモジュールをトランスフォーマーのデコーダーに統合し、文間の一貫性を向上させるとともに繰り返しを低減する。ActivityNet CaptionsおよびYouCookIIにおける実験の結果、MARTはLSTMベースおよびヴァニラトランスフォーマーベースのモデルを上回り、一貫性と流暢さの両面で優れた性能を示した。

ABSTRACT

Generating multi-sentence descriptions for videos is one of the most challenging captioning tasks due to its high requirements for not only visual relevance but also discourse-based coherence across the sentences in the paragraph. Towards this goal, we propose a new approach called Memory-Augmented Recurrent Transformer (MART), which uses a memory module to augment the transformer architecture. The memory module generates a highly summarized memory state from the video segments and the sentence history so as to help better prediction of the next sentence (w.r.t. coreference and repetition aspects), thus encouraging coherent paragraph generation. Extensive experiments, human evaluations, and qualitative analyses on two popular datasets ActivityNet Captions and YouCookII show that MART generates more coherent and less repetitive paragraph captions than baseline methods, while maintaining relevance to the input video events. All code is available open-source at: https://github.com/jayleicn/recurrent-transformer

研究の動機と目的

• 一貫性があり、繰り返しが少ない複文の動画記述を生成する課題に取り組むこと。
• 標準的なトランスフォーマーでは文を独立してデコードするため、過去の文脈を認識しないという文脈断片化の問題を克服すること。
• 動画セグメントと生成された文の間で長距離依存関係をモデル化できる再帰的トランスフォーマーのアーキテクチャを設計すること。
• 履歴の要約を提供するメモリモジュールを用いて、話法レベルの一貫性を向上させ、次文の生成をガイドすること。
• LSTMベースおよび標準トランスフォーマーモデルを上回るパラグラフレベルの動画キャプション性能を達成すること。

提案手法

• 過学習とメモリ使用量の削減を目的として、共通の層を有する統合型エンコーダ-デコーダー・トランスフォーマー・アーキテクチャを採用する。
• 動画セグメントと以前に生成された文の状態を高レベルに要約した状態を格納・更新するメモリモジュールを導入する。
• 各デコードステップで、以前のメモリ状態とのクロスアテンションにより、現在の動画表現を強化し、文脈に配慮した生成を可能にする。
• 現在の入力と以前のメモリ状態の両方を用いてメモリ状態を更新することで、文間での再帰的処理を実現する。
• 自己回帰的次トークン予測のため、エンドツーエンドでクロスエントロピー損失を用いて学習する。
• 強力なベースラインとして、動画キャプションに適応したTransformer-XLの変種を採用する。

実験結果

リサーチクエスチョン

• RQ1 メモリ拡張型再帰的トランスフォーマーの設計は、動画パラグラフキャプションにおける話法レベルの一貫性を向上させることができるか？
• RQ2 外部メモリモジュールを用いて履歴を要約することで、標準トランスフォーマーと比較して文レベルの繰り返しを低減できるか？
• RQ3 MARTはLSTMベースおよび標準トランスフォーマーモデルと比較して、一貫性と関連性の面で優れた性能を示すか？
• RQ4 メモリモジュールを用いて意味的に類似した動画セグメントを検索できるか？これは、メモリが意味的な表現を捕らえていることを示唆する。
• RQ5 MARTにおける再帰的メカニズムは、複数の動画セグメントおよび文を跨る長距離依存関係を効果的にモデル化できるか？

主な発見

• MARTはヴァニラトランスフォーマー・モデルを著しく上回り、ActivityNet Captionsのバリデーションスプリットにおいて、関連性と一貫性の両面でそれぞれ22.87%および24.33%のCスコアを達成した。
• 人的評価では、MARTはヴァニラトランスフォーマーを著しく上回り、一貫性と関連性の両面で好まれた。この評価には54名の作業者がペairwise比較に参加した。
• Transformer-XLと比較すると、MARTは関連性性能は同等であったが、一貫性性能が著しく優れており、CスコアのR@4が5.18%上昇した。これは繰り返しの低減を示している。
• アブレーションスタディーの結果、再帰的メカニズムが不可欠であることが確認された。この機構を削除すると、Cスコアは23.42から22.78に低下し、一貫性への貢献が明確になった。
• メモリ状態の検索実験では、メモリ空間における最近傍の近傍は、しばしばクエリ動画と意味的に関連していることが示され、メモリモジュールが意味的に意味のある表現を捉えていることが裏付けられた。
• 2つの隠れ層とメモリ長1のモデルが、パフォーマンスと計算コストのバランスが最良であり、バリデーションスプリットでCスコア23.42を達成した。