[論文レビュー] VMSMO: Learning to Generate Multimodal Summary for Video-based News Articles

Mingzhe Li, Xiuying Chen+4 more|arXiv (Cornell University)|Oct 12, 2020

Topic Modeling参考文献 36被引用数 7

ひとこと要約

本稿では、動画添付ニュース記事のための、顕著な動画カバーフレームの選択と要約文の生成を同時に実行する新しいタスクである、マルチモーダル出力付きのビデオベースマルチモーダル要約（VMSMO）を提案する。著者らは、動画の時間的ダイナミクスとクロスモーダル意味をモデル化するため、条件付き自己注意機構とグローバル注意機構を用いた、デュアルインタラクションベースのマルチモーダル要約モデル（DIMS）を導入し、自動評価および人間評価の両方で、新たに収集された大規模データセットにおいて最先端の性能を達成した。

ABSTRACT

A popular multimedia news format nowadays is providing users with a lively video and a corresponding news article, which is employed by influential news media including CNN, BBC, and social media including Twitter and Weibo. In such a case, automatically choosing a proper cover frame of the video and generating an appropriate textual summary of the article can help editors save time, and readers make the decision more effectively. Hence, in this paper, we propose the task of Video-based Multimodal Summarization with Multimodal Output (VMSMO) to tackle such a problem. The main challenge in this task is to jointly model the temporal dependency of video with semantic meaning of article. To this end, we propose a Dual-Interaction-based Multimodal Summarizer (DIMS), consisting of a dual interaction module and multimodal generator. In the dual interaction module, we propose a conditional self-attention mechanism that captures local semantic information within video and a global-attention mechanism that handles the semantic relationship between news text and video from a high level. Extensive experiments conducted on a large-scale real-world VMSMO dataset show that DIMS achieves the state-of-the-art performance in terms of both automatic metrics and human evaluations.

研究の動機と目的

• 動画添付ニュース記事から効果的なマルチモーダル要約を生成する課題に対処し、代表的なカバーフレームと要約文の両方が必要となる。
• 動画の時間的依存関係とテキストの意味的意味を、本質的に異なるモダリティとしてモデル化する。
• 同時に動画カバーフレーム選択と要約文生成（要約的要約）を実行する統合フレームワークを構築する。
• VMSMOタスクのための大規模な実世界データセットを構築し、堅牢な評価を可能にする。
• 要約生成とカバーフレーム選択のマルチタスク学習が、両タスクの性能向上に寄与することを示す。

提案手法

• モデルは、動画フレームとニュース記事の順序構造を別々に、再帰的ニューラルネットワーク（RNN）を用いて符号化する。
• デュアルインタラクションモジュールを導入し、記事に従って局所的な動画表現を捉える条件付き自己注意機構と、ハイレベルなクロスモーダル関係をモデル化するグローバル注意機構から構成される。
• 条件付き自己注意機構は、記事の文脈に基づいて動画フレームに注目し、テキストのガイドに従って局所的な動画表現を強化する。
• グローバル注意機構は、記事の語と動画フレームの間で注意重みを計算し、ハイレベルなクロスモーダルアライメントを可能にする。
• マルチモーダルジェネレータは、デュアルインタラクションモジュールからの統合表現を用いて、要約文を生成し、カバーフレームを選択する。
• 要約生成とカバーフレーム選択を同時に最適化するマルチタスク学習の目的関数を用いて、エンドツーエンドでモデルを訓練する。

実験結果

リサーチクエスチョン

• RQ1 統合モデルは、動画添付ニュース記事から高品質な要約文と代表的なカバーフレームを同時に生成できるか？
• RQ2 関連ニュース記事の意味的コンテンツによって、どのように局所的な動画表現を効果的にガイドできるか？
• RQ3 テキストと動画の間でグローバルクロスモーダル注意をモデル化することで、要約生成とフレーム選択の性能がどの程度向上するか？
• RQ4 要約生成とカバーフレーム選択のマルチタスク学習は、両タスクの性能向上に寄与するか？
• RQ5 提案された注意機構は、アブレーションバージョンと比較して、モデルの有効性にどの程度寄与しているか？

主な発見

• DIMSモデルは、VMSMOベンチマークで最先端の性能を達成し、自動評価指標（ROUGE-L、BLEU）および人間評価の両方で、すべてのベースラインを上回った。
• テキスト要約生成において最も寄与しているのはグローバル注意機構であり、カバーフレーム選択において最も重要なのは条件付き自己注意機構であった。
• アブレーションスタディにより、条件付き自己注意機構とグローバル注意機構の両方が不可欠であることが確認され、いずれかを削除すると顕著な性能低下が生じた。
• マルチタスク学習により両タスクの性能が向上：DIMSの完全モデルは、単一タスクベースラインと比較してROUGE-Lが20.8%向上、map精度が7.0%向上した。
• 注意行列の可視化により、モデルがキーワード（例：'Book Fair'、'hand in hand'）を意味的に関連する動画フレームに正しくアライメントしていることが示された。
• 事例スタディにより、生成された要約文は文法的に自然で、事実と整合的であり、正解要約と整合的であることが確認された。また、選択されたカバーフレームは、基準フレームと密接に一致していた。