[論文レビュー] Multimodal Conditionality for Natural Language Generation

Michael Sollami, Aashish Jain|arXiv (Cornell University)|Sep 2, 2021

Topic Modeling参考文献 32被引用数 7

ひとこと要約

この論文では、自然言語生成のためのトランスフォーマーに基づく言語モデルを、画像やテキストなどの複数のモダリティで条件づける手法MAnTiSを提案する。各モダリティを別々に符号化し、言語モデルのトークン空間に投影した後、モダリティに適応したプレフィックスに統合することで、事前学習済みモデルのアーキテクチャを変更せずに高品質なマルチモーダルなテキスト生成を実現する。自動評価および人的評価の両方の指標において、強力なベースラインを上回る性能を発揮する。

ABSTRACT

Large scale pretrained language models have demonstrated state-of-the-art performance in language understanding tasks. Their application has recently expanded into multimodality learning, leading to improved representations combining vision and language. However, progress in adapting language models towards conditional Natural Language Generation (NLG) has been limited to a single modality, generally text. We propose MAnTiS, Multimodal Adaptation for Text Synthesis, a general approach for multimodal conditionality in transformer-based NLG models. In this method, we pass inputs from each modality through modality-specific encoders, project to textual token space, and finally join to form a conditionality prefix. We fine-tune the pretrained language model and encoders with the conditionality prefix guiding the generation. We apply MAnTiS to the task of product description generation, conditioning a network on both product images and titles to generate descriptive text. We demonstrate that MAnTiS outperforms strong baseline approaches on standard NLG scoring metrics. Furthermore, qualitative assessments demonstrate that MAnTiS can generate human quality descriptions consistent with given multimodal inputs.

研究の動機と目的

• 事前学習済み言語モデルを、複数のモダリティ（例：画像やテキスト）を用いて条件づけてテキスト生成するための手法のギャップを埋めること。
• 事前学習済みモデルの生成能力を保持しつつ、画像やテキストなどの多様な入力で条件づける手法を開発すること。
• 事前学習済みモデルのアーキテクチャを変更せずに、一般化可能でモジュール化可能かつ拡張可能なマルチモーダルNLGのフレームワークを提供すること。
• 実世界のeコマース製品説明生成におけるマルチモーダル条件づけの有効性を評価すること。

提案手法

• 各モダリティ（例：画像とテキスト）は、モダリティ固有のエンコーダーを経由して埋め込み表現に変換される。
• 画像とテキストの埋め込み表現は、事前学習済み言語モデルのテキスト的トークン空間に投影される。
• 投影された埋め込み表現は、区切りトークンを介して連結され、条件づけプレフィックスが形成される。
• プレフィックスはデコーダーのコンテキストとして入力され、言語モデルの構造を変更せずにテキストが自己回帰的に生成される。
• モデルは、生成されたテキストトークンのみを対象として、標準的な言語モデリング目的関数に従ってエンドツーエンドで微調整される。
• 本手法は複数枚の画像を扱うことができ、訓練時にモダリティドロップアウトを組み込むことで、より高い耐性が得られる。

実験結果

リサーチクエスチョン

• RQ1 事前学習済み言語モデルを、画像やテキストなどの複数のモダリティで条件づけて自然言語生成に有効に適用できるか、アーキテクチャの変更なしに実現可能か？
• RQ2 各モダリティ固有のプレフィックスを用いたマルチモーダル条件づけは、モデルのアテンション層に条件づけベクトルを統合する手法と比較して、どのように異なるか？
• RQ3 1つの製品に対して複数枚の画像を組み込むことで、生成された説明の品質と関連性が向上するか？
• RQ4 訓練時にモダリティドロップアウトを適用することで、性能の低下を伴わずに一般化性能が向上するか？
• RQ5 人的評価において、MAnTiSが生成する説明は、文法的正しさ、一貫性、魅力性の点でベースラインと比較して、どのように評価されるか？

主な発見

• MAnTiSは、最大5枚の画像を用いた場合、BLEU4（+0.1）、CIDEr（+2.2）、METEOR（+0.3）、ROUGE-L（+0.3）という標準的なNLG指標において、強力なベースラインをすべて上回った。
• 人的評価では、MAnTiSが文法的正しさ、冗長性の低さ、一貫性、魅力性の点で顕著に高いスコアを達成し、平均総合評価は5段階中4.2であった。
• モデルは画像固有の特徴を正確に捉えた説明を生成しており、例として「レースのフリンジでトリムされた」など、視覚的根拠に基づいた記述が可能であった。
• 複数枚の画像を組み込むことで性能が向上したため、複数の視点からの視覚的情報の有効な統合が可能であることが示された。
• モダリティドロップアウトを適用することで、BLEU4とCIDErスコアがわずかに向上し、性能の低下を伴わずに耐性が向上することが示唆された。
• MAnTiS-scratch（事前学習なしで訓練）はMAnTiS-singleに比べて顕著に性能が低く、大規模な事前学習済み言語モデルを活用することの利点が確認された。