[論文レビュー] Semantics-Consistent Cross-domain Summarization via Optimal Transport Alignment

Jielin Qiu, Jiacheng Zhu+7 more|arXiv (Cornell University)|Oct 10, 2022

Video Analysis and Summarization被引用数 4

ひとこと要約

本稿では、マルチモーダル要約のための意味的整合性のあるクロスドメイン要約モデルであるSCCSを提案する。このモデルは、セグメントレベルの視覚的・言語的表現を最適輸送によるアライメントで一致させることで、マルチモーダル要約を実現する。動画と記事を意味的セグメントに分解し、最適輸送を用いたクロスドメインアライメントを最適化することで、CNN、Daily Mail、VMSMOの3つのマルチモーダルデータセットで最先端の性能を達成するとともに、スパースな輸送計画により解釈可能性を向上させた。

ABSTRACT

Multimedia summarization with multimodal output (MSMO) is a recently explored application in language grounding. It plays an essential role in real-world applications, i.e., automatically generating cover images and titles for news articles or providing introductions to online videos. However, existing methods extract features from the whole video and article and use fusion methods to select the representative one, thus usually ignoring the critical structure and varying semantics. In this work, we propose a Semantics-Consistent Cross-domain Summarization (SCCS) model based on optimal transport alignment with visual and textual segmentation. In specific, our method first decomposes both video and article into segments in order to capture the structural semantics, respectively. Then SCCS follows a cross-domain alignment objective with optimal transport distance, which leverages multimodal interaction to match and select the visual and textual summary. We evaluated our method on three recent multimodal datasets and demonstrated the effectiveness of our method in producing high-quality multimodal summaries.

研究の動機と目的

• 既存のマルチモーダル要約手法が動画と記事全体を単一の単位として扱うという限界に対処すること。これにより、構造的意味論が無視される。
• 視覚的および言語的モダリティの背後にある構造的意味論を保持・活用し、より正確で一貫性のある要約を実現すること。
• 計算効率が良く、階層的なフレームワークを採用することで、セグメントレベルでの解釈可能なクロスマodalアライメントを可能にすること。
• 最適輸送に基づくマッチングを通じて視覚的および言語的要約選択を統合的に最適化することにより、マルチモーダル要約品質を向上させること。
• 最適輸送カップリング行列の可視化を通じて、学習されたアライメントの解釈可能性を提供すること。

提案手法

• 意味的セグメントを保持するため、専用のエンコーダーを用いて入力動画とテキスト記事を意味的セグメントに分解する。
• 視覚的および言語的セグメント埋め込み間のワッサーシュタイン距離を計算するために、最適輸送（OT）に基づくクロスドメインアライメント目的関数を適用する。
• 最適輸送カップリング行列を用いて、最も意味的に整合性の高い画像-文ペアを特定し、スパースで構造的な対応を優遇する。
• マルチモーダルアライメントモジュールを統合し、OTに基づくクロスドメイン距離を最小化することで、視覚的および言語的要約選択を同時に最適化する。
• ビデオ入力のみが利用可能な状況では、K-meansクラスタリングと画像ヒストグラム特徴量を用いて教師なしの視覚的要約を実現する。
• アブレーションや比較のため、テキスト埋め込みにBERTを活用し、センテンス選択にはセンタロイドベースの手法を用いる。

実験結果

リサーチクエスチョン

• RQ1 全体入力手法と比較して、セグメントレベルのクロスドメインアライメントは、マルチモーダル要約の品質と一貫性を向上させるか？
• RQ2 最適輸送に基づくアライメントは、視覚的・言語的要約マッチングの解釈可能性と構造的整合性をどのように向上させるか？
• RQ3 両モダリティにおける構造的意味論を保持することで、マルチモーダル要約ベンチマークにおける要約品質はどの程度向上するか？
• RQ4 提案手法は、テキストおよび視覚的要約品質の両面で、既存の単モーダルおよびマルチモーダルベースラインを上回るか？
• RQ5 学習された最適輸送カップリング行列は、視覚的および言語的セグメント間で意味的でスパースかつ解釈可能なアライメントを提供できるか？

主な発見

• SCCSはCNNおよびDaily Mailデータセットで最先端の性能を達成し、マルチモーダルROUGE-Lスコアが35.79を記録。最良のベースライン（$\rm M^{2}$SM）を4.11ポイント上回った。
• Daily Mailデータセットでは、コサイン類似度が73.19%に達し、2番目に良い手法（M$^{2}$SM）の69.22%を顕著に上回った。
• VMSMOデータセットでは、マルチモーダルアプローチが単モーダルベースラインを上回り、要約生成におけるクロスマodal相互作用の有効性を示した。
• アブレーションスタディの結果、マルチモーダル学習が単モーダルベースラインを一貫して上回ることが確認され、視覚的および言語的特徴を両方使用した場合に最も良い結果が得られた。
• 最適輸送カップリング行列の可視化により、一致した画像-テキストペアにはスパースで構造的なパターンが観察された一方、一致しないペアは密集した無意味なコアリアンスを示し、解釈可能性が裏付けられた。