Skip to main content
Nubint
QUICK REVIEW

[論文レビュー] DocumentCLIP: Linking Figures and Main Body Text in Reflowed Documents

Fuxiao Liu, Hao Tan|arXiv (Cornell University)|Jun 9, 2023
Multimodal Machine Learning Applications被引用数 5
ひとこと要約

DocumentCLIP は、ニュース記事や Wikipedia ページなどの再フォーマットされた文書における画像、キャプション、長文テキスト間の文単位のマルチモーダル相互作用をモデル化する、局所化に配慮した対照学習フレームワークを導入する。レイアウトに配慮したセクション埋め込み、エンティティのアライメント、ハードネガティブサンプリングを組み合わせることで、教師ありおよびゼロショットの文書内検索において最先端の性能を達成し、人間評価でも CLIP や SBERT を上回り、平均順位が 0.75 を記録した。

ABSTRACT

Vision-language pretraining models have achieved great success in supporting multimedia applications by understanding the alignments between images and text. While existing vision-language pretraining models primarily focus on understanding single image associated with a single piece of text, they often ignore the alignment at the intra-document level, consisting of multiple sentences with multiple images. In this work, we propose DocumentCLIP, a salience-aware contrastive learning framework to enforce vision-language pretraining models to comprehend the interaction between images and longer text within documents. Our model is beneficial for the real-world multimodal document understanding like news article, magazines, product descriptions, which contain linguistically and visually richer content. To the best of our knowledge, we are the first to explore multimodal intra-document links by contrastive learning. In addition, we collect a large Wikipedia dataset for pretraining, which provides various topics and structures. Experiments show DocumentCLIP not only outperforms the state-of-the-art baselines in the supervised setting, but also achieves the best zero-shot performance in the wild after human evaluation. Our code is available at https://github.com/FuxiaoLiu/DocumentCLIP.

研究の動機と目的

  • ニュース記事や Wikipedia ページのような長く構造化された文書において、画像とテキストの文書内関係を正しくモデル化できない視覚言語モデルのギャップを埋める。
  • 画像、キャプション、長文セクション間の意味的・構造的・位置的関係を捉えることで、マルチモーダル文書理解を向上させる。
  • 微調整なしで多様な文書タイプやトピックにわたって強力なゼロショット一般化を実現する。
  • Wikipedia の HTML 構造からの弱い監督を活用して、文書レベルのアライメントを学ぶプレトレーニングフレームワークを開発する。
  • 言語的に豊富で再フォーマットされた文書における曖昧または複数の画像・テキスト対応関係を効果的に処理する手法を設計する。

提案手法

  • DocumentCLIP は、テキスト、セクション位置、エンティティ埋め込みの3つの入力埋め込みを用いて文書構造とコンテンツの流れをモデル化する、レイアウトに配慮したトランスフォーマー暗号化器を採用する。
  • レイアウトトランスフォーマーの前段階で、CLIP の視覚およびテキストエンコーダーを用いて画像とキャプションの特徴を早期統合することで、マルチモーダル相互作用を保持する。
  • 顕著な文抽出モジュールにより、各画像／キャプションペアに対して最も関連性の高い文を特定し、ノイズを低減して情報量の多いコンテンツに焦点を当てる。
  • 画像・キャプションペアと関連するテキストセクションを比較する顕著性に配慮した対照損失を最適化する。この損失関数では、通常のネガティブ例（他のセクション）に加え、画像・キャプションを入れ替えたハードネガティブ例も使用する。
  • プレトレーニングは、自然なセクションから画像へのリンクを有する 66,000 件の記事および 320,000 個の画像・キャプションペアを含む大規模な Wikipedia データセット上で実施する。
  • フレームワークは検索タスクの微調整を経て、実世界の文書コレクションにおいて教師ありおよびゼロショット設定の両方で評価された。
Figure 1 : Illustration of our task. Given an article, our model extracts the most relevant text to the image/caption pair. (Left): The document is from our pretraining Wikipedia dataset , which has the section to image/caption pair links as the groundtruth label. We leverage this weak supervision t
Figure 1 : Illustration of our task. Given an article, our model extracts the most relevant text to the image/caption pair. (Left): The document is from our pretraining Wikipedia dataset , which has the section to image/caption pair links as the groundtruth label. We leverage this weak supervision t

実験結果

リサーチクエスチョン

  • RQ1複雑なレイアウトと複数の画像を含む長大な再フォーマット文書において、視覚言語モデルは文単位の画像・テキストアライメントを効果的に学習できるか？
  • RQ2レイアウトおよびセクション位置情報を取り入れることで、標準的な対照学習と比較して、マルチモーダル文書理解はどの程度向上するか？
  • RQ3Wikipedia でプレトレーニングしたモデルは、オープン教科書のような未学習の文書タイプに対しても優れたゼロショット性能を達成できるか？
  • RQ4顕著性に配慮した対照学習は、標準的な対照的目標と比較して、文書内検索のパフォーマンスをどの程度向上させるか？
  • RQ5ハードネガティブサンプルは、候補となるテキストセグメント間の微細な意味的差を区別する能力をどの程度向上させるか？

主な発見

  • Open Textbook データセットにおける人間評価で、DocumentCLIP は平均順位 0.75 を達成し、CLIP (1.13) や SBert (1.29) を大きく上回り、優れたゼロショット関連性予測性能を示した。
  • ゼロショット設定では、人間のアノテーターが 49% の予測を最初にランク付けした一方、DocumentCLIP が最後にランク付けされたのはたったの 18% にとどまり、高い信頼性を示した。
  • 教師ありおよびゼロショットの両設定で最先端のベースラインを上回り、モデルの頑健性と一般化能力を確認した。
  • 画像とキャプションの両方で CLIP-エンコーダーを用いることで、最も高いパフォーマンスが得られ、モダリティ間の意味的ギャップが小さくなった。
  • アブレーションスタディにより、セクション位置およびエンティティ埋め込みが性能向上に顕著に寄与することが確認された。一方、事前学習なしで訓練を開始した (SCRATCH) 場合は、事前学習の先行知識が欠落しているため性能が劣った。
  • 定性的な分析では、キーワードが存在しない状況でも、DocumentCLIP が文脈的に関連する文を正しく特定していることが示された。例えば、「ライブアクションスペシャル」を「テレビドラマ」と関連付けることができた。
Figure 2 : Overview of DocumentCLIP in the training phrase. In this example, $t_{00},t_{01},t_{02}$ are the Top 3 sentences selected by the Salient Sentence Extraction from the image/caption pair in yellow. $x^{ic}_{12}$ is the negative query from the image/caption pair in green to generated hard ne
Figure 2 : Overview of DocumentCLIP in the training phrase. In this example, $t_{00},t_{01},t_{02}$ are the Top 3 sentences selected by the Salient Sentence Extraction from the image/caption pair in yellow. $x^{ic}_{12}$ is the negative query from the image/caption pair in green to generated hard ne

より良い研究を、今すぐ始めましょう

論文の読解から最終レビューまで、研究時間を劇的に削減しましょう。

クレジットカード登録不要

このレビューはAIが作成し、人間の編集者が確認しました。