[論文レビュー] UniMS: A Unified Framework for Multimodal Summarization with Knowledge Distillation

Zhengkun Zhang, Xiaojun Meng+4 more|arXiv (Cornell University)|Sep 13, 2021

Natural Language Processing Techniques被引用数 9

ひとこと要約

UniMSは、視覚言語モデルからの知識蒸留を用いて、画像のキャプションに依存せずに画像の関連性を向上させることで、抽出的および要約的テキスト要約と画像選択を統合的に最適化するBARTベースの統合フレームワークを提案する。視覚誘導型アテンションとマルチ目的の監視を統合することで、MSMOベンチマークで最先端の性能を達成する。

ABSTRACT

With the rapid increase of multimedia data, a large body of literature has emerged to work on multimodal summarization, the majority of which target at refining salient information from textual and visual modalities to output a pictorial summary with the most relevant images. Existing methods mostly focus on either extractive or abstractive summarization and rely on qualified image captions to build image references. We are the first to propose a Unified framework for Multimodal Summarization grounding on BART, UniMS, that integrates extractive and abstractive objectives, as well as selecting the image output. Specially, we adopt knowledge distillation from a vision-language pretrained model to improve image selection, which avoids any requirement on the existence and quality of image captions. Besides, we introduce a visual guided decoder to better integrate textual and visual modalities in guiding abstractive text generation. Results show that our best model achieves a new state-of-the-art result on a large-scale benchmark dataset. The newly involved extractive objective as well as the knowledge distillation technique are proven to bring a noticeable improvement to the multimodal summarization task.

研究の動機と目的

• 既存のマルチモーダル要約手法が、画像選択に高品質な画像キャプションに依存するという制限を解消すること。
• 抽出的および要約的テキスト要約と画像選択を、1つのマルチタスクフレームワークで統合すること。
• CLIPなどの視覚言語モデルからの知識蒸留を活用することで、画像キャプションの存在や品質に依存しないようにすること。
• 抽出的要約と画像選択の目的を同時に監視することで、モダリティ理解を向上させ、モダリティバイアスを低減すること。
• デコーダーに視覚誘導型アテンションを導入することで、マルチモーダル環境下での要約的テキスト生成を強化すること。

提案手法

• フレームワークは、画像パッチの線形投影による視覚埋め込みを用いて、テキストおよび視覚入力を処理するマルチモーダルエンコーダーをBARTに拡張する。
• 事前学習済みの視覚言語モデル（例：CLIP）から知識蒸留を適用し、コサイン類似度を介してテキスト-画像関連性を学習することで、画像選択をガイドする。
• エンコーダーの理解を強化し、モダリティバイアスを低減するために、抽出的目的を導入する。
• 要約的生成中に、テキスト特徴量と視覚特徴量を別々に注目する視覚誘導型デコーダーを採用し、クロスモダリティ統合を強化する。
• エンドツーエンドで学習する際、抽出的要約、要約的要約、画像選択の3つの目的を同時に最適化する。
• クラス活性化マッピング（CAM）を用いて注目メカニズムを可視化し、モデルが意味的に関連する画像領域（例：人物、選手）およびキーテキストトークン（例：'said'、'attempt'）に注目していることを示す。

実験結果

リサーチクエスチョン

• RQ1 1つのマルチタスク学習設定で、抽出的および要約的テキスト要約と画像選択を統合的に最適化できる統合フレームワークは構築可能か？
• RQ2 画像キャプションの存在や品質に依存せずに、画像選択はどのように改善できるか？
• RQ3 視覚言語モデルからの知識蒸留は、マルチモーダル要約性能にどの程度向上効果をもたらすか？
• RQ4 要約的要約と画像選択の目的に加えて抽出的目的を導入することで、モダリティバイアスは低減され、全体的な性能は向上するか？
• RQ5 視覚誘導型アテンションは、マルチモーダル環境下での要約的テキスト生成の効果をどの程度向上させるか？

主な発見

• 提案されたUniMSフレームワークは、大規模なMSMOベンチマークデータセットで新たな最先端性能を達成した。
• 知識蒸留を適用したモデルは、画像キャプションを一切使用しない状況でも、ベースラインを上回る画像選択性能を示した。
• 抽出的目的の導入により、新しいn-gramの生成が顕著に向上し、より優れた要約的一般化能力が示された。
• 人的評価では、UniMSがベースラインと比較してより関連性が高く、一貫性があり、忠実な要約を生成することが確認された。すべての改善は統計的に有意であった（p < 0.001）。
• CAMを用いた可視化により、モデルが意味的に関連する画像領域（例：人物、選手）およびキーテキストトークン（例：'said'、'attempt'）に注目していることが示された。
• 事前学習済みの視覚バックボーン（例：CLIP-ResNet50 や ViT-B-32）の使用は、性能向上に顕著な寄与を示さず、画像パッチの線形投影が十分かつ効率的であることが判明した。