[論文レビュー] What BERT Sees: Cross-Modal Transfer for Visual Question Generation

Thomas Scialom, Patrick Bordes+3 more|arXiv (Cornell University)|Feb 25, 2020

Multimodal Machine Learning Applications被引用数 5

ひとこと要約

本稿では、追加の事前学習を必要とせず、視覚的質問生成（VQG）のための事前学習済みBERTを活用する新しいテキスト生成フレームワーク、BERT-genを提案する。視覚的オブジェクト特徴をBERTの入力埋め込みに一致させるために単純な線形投影を適用することで、VQGベンチマークで最先端の性能を達成した。これは、BERTの表現が最小限の微調整および明示的なマルチモodal事前学習なしで、モダリティを跨いで本質的に一般化可能であることを示している。

ABSTRACT

Pre-trained language models have recently contributed to significant advances in NLP tasks. Recently, multi-modal versions of BERT have been developed, using heavy pre-training relying on vast corpora of aligned textual and image data, primarily applied to classification tasks such as VQA. In this paper, we are interested in evaluating the visual capabilities of BERT out-of-the-box, by avoiding pre-training made on supplementary data. We choose to study Visual Question Generation, a task of great interest for grounded dialog, that enables to study the impact of each modality (as input can be visual and/or textual). Moreover, the generation aspect of the task requires an adaptation since BERT is primarily designed as an encoder. We introduce BERT-gen, a BERT-based architecture for text generation, able to leverage on either mono- or multi- modal representations. The results reported under different configurations indicate an innate capacity for BERT-gen to adapt to multi-modal data and text generation, even with few data available, avoiding expensive pre-training. The proposed model obtains substantial improvements over the state-of-the-art on two established VQG datasets.

研究の動機と目的

• 事前学習済みBERTモデルが、明示的なマルチモーダル事前学習を経ずに、跨モダリティの視覚的抽象化を内在的に表現しているかどうかを調査すること。
• モノモーダルおよびマルチモーダル入力をサポートするBERTに基づくテキスト生成フレームワークを開発すること。
• 視覚データにBERTを固定化するための最小限の適応（具体的には線形投影層）の有効性を評価すること。
• 微調整のみでVQGデータに適応したBERTが、画像に根ざした文脈的に適切な質問を生成できることを示すこと。
• BERT-genにおける注意メカニズムとクロスマodal整合性を分析し、異なるモダリティ間でのモデル行動を解釈すること。

提案手法

• BERT-genは、視覚的オブジェクト特徴を系列トークンとして含めるように入力表現を変更することで、BERTを自己回帰的デコーダーとして適応する。
• 視覚的特徴はFaster R-CNNで抽出され、追加の非線形性を伴わずに、学習可能な線形層を用いてBERTの埋め込み空間に投影される。
• モデルは画像を領域（バウンディングボックスを伴う）の系列として扱い、単語と同様にトークン化することで、テキストと視覚的オブジェクトの両方に対する共同注意を可能にする。
• クロスマodal注意は、最終BERT層の全ヘッドの注意重みを平均化することで分析され、モデルがどの語とどの画像領域に注目しているかを可視化する。
• クロスマodal類似度は、BERT層の各層で画像とその対応するキャプションの[CLS]埋め込み間のコサイン類似度によって計算され、整合性の度合いを測定する。
• 広範なアブレーションスタディでは、キャプションのみ、画像のみ、および画像＋キャプション入力の3つの設定を比較し、視覚的投影行列の使用を制御する。

実験結果

リサーチクエスチョン

• RQ1 事前学習済みBERTは、マルチモーダル事前学習や視覚データへの微調整なしに、視覚的に根ざした質問を生成できるか？
• RQ2 単純な線形投影層が、視覚的オブジェクト特徴とBERTのテキスト表現を効果的に一致させるのに十分か？
• RQ3 質問生成の過程で、BERT-genの注意メカニズムは、テキスト語と視覚的オブジェクト領域の間でどのように分配されるか？
• RQ4 VQGでの微調整過程で、画像とキャプションの[CLS]トークン表現がどれほど意味的に整合するようになるか？
• RQ5 訓練時にテキストキャプションを追加することで、画像のみの入力と比較してクロスマodal整合性と生成品質が向上するか？

主な発見

• BERT-genは、追加の事前学習を必要とせず、2つの標準的なVQGベンチマークで最先端の性能を達成した。
• モデルは強力なゼロショットクロスマodal一般化を示した：事前学習段階で明示的な画像・テキスト整合性を学習していなくても、視覚的コンテンツに関連する質問を生成できるようになった。
• クロスマodal類似度（X_sim）は最終BERT層で顕著に増加し、Image + Caption > Image only > Caption only の順序となり、微調整による効果的な整合性が示された。
• 注意可視化では、キャプションに言及されていなくても、時計や傘といった関連する視覚的オブジェクトに正しく注目していることが確認され、視覚的根拠の確立が裏付けられた。
• Image-only設定では、誤った視覚的誤認（例：男性ではなく女性が傘を持つ）を正しく是正しており、頑健な視覚的推論能力を示した。
• ランダムトランスフォーマーベースラインではX_simがほぼゼロに近かったため、BERT-genで観察された整合性が、ランダム相関ではなく学習された表現に起因していることが確認された。