[論文レビュー] VisualGPT: Data-efficient Adaptation of Pretrained Language Models for Image Captioning

Jun Chen, Han Guo+3 more|arXiv (Cornell University)|Feb 20, 2021

Multimodal Machine Learning Applications参考文献 76被引用数 14

ひとこと要約

VisualGPTは、視覚的および言語的入力をバランスさせるために、独自の自己再生型エンコーダデコーダアテンションメカニズムを用いて事前学習済み言語モデル（PLM）デコーダーを微調整する、データ効率的な画像キャプション生成フレームワークを提案する。MS COCOの0.1%およびConceptual Captionsの1%での学習により、最先端の性能を達成し、MS COCOではベースラインを最大10.0%上回るCIDErスコア、Conceptual Captionsでは17.9%上回るスコアを記録した。また、医療分野のIU X-rayデータセットにおいても新たな最先端性能を樹立した。

ABSTRACT

The ability to quickly learn from a small quantity oftraining data widens the range of machine learning applications. In this paper, we propose a data-efficient image captioning model, VisualGPT, which leverages the linguistic knowledge from a large pretrained language model(LM). A crucial challenge is to balance between the use of visual information in the image and prior linguistic knowledge acquired from pretraining. We designed a novel self-resurrecting encoder-decoder attention mechanism to quickly adapt the pretrained LM as the language decoder ona small amount of in-domain training data. The proposed self-resurrecting activation unit produces sparse activations but has reduced susceptibility to zero gradients. We train the proposed model, VisualGPT, on 0.1%, 0.5% and 1% of MSCOCO and Conceptual Captions training data. Under these conditions, we outperform the best baseline model by up to 10.8% CIDEr on MS COCO and upto 5.4% CIDEr on Conceptual Captions. Further, Visual-GPT achieves the state-of-the-art result on IU X-ray, a medical report generation dataset. To the best of our knowledge, this is the first work that improves data efficiency of image captioning by utilizing LM pretrained on unimodal data. Our code is available at: https://github.com/Vision-CAIR/VisualGPT.

研究の動機と目的

• 実世界の応用、特に医療画像のような特殊分野において、アノテート済みの画像キャプションデータが限られているという課題に対処すること。
• 大規模なドメイン特化データを必要とせず、事前学習済み言語モデル（PLM）を活用することで、画像キャプション生成におけるデータ効率性を向上させること。
• 単モodalなPLMとマルチモーダルな画像キャプション生成の間のドメインギャップを埋め、視覚的特徴と言語的事前知識のバランスを取ること。
• 少量のドメイン特化データでの微調整中に、事前学習済みの言語知識が消失するのを防ぐこと。
• PLMの事前知識を活用することで、生成キャプションの事実的整合性を高め、オブジェクトの誤認を低減すること。

提案手法

• VisualGPTは、GPT-2などの事前学習済み言語モデル（PLM）の重みを初期値としてキャプションデコーダーに採用し、豊富な言語的・意味的知識を保持する。
• 自己再生型エンコーダデコーダアテンションメカニズムを導入し、CNNエンコーダーからの視覚的特徴と、文脈を反映したデコーダー隠れ状態の両方を動的にバランスさせる。
• 自己再生型活性化ユニット（SRAU）は、非飽和な整流ゲーティング関数を用いてスパースな活性化を生成し、勾配の崩壊を防ぐ。これにより、ゲートがゼロ化された後でも回復可能となる。
• SRAU機構により、視覚信号が弱いか希釈している場合でも、PLM由来の言語的知識が微調整中に保持される。
• 複数レベルの視覚エンコーダーからの特徴量とデコーダー状態が、SRAUによって制御される学習可能なアテンション重みを通じて融合される。
• 追加の事前学習やアーキテクチャの再設計を必要とせず、小規模なドメイン特化画像-テキストペア上でエンドツーエンドで微調整される。

実験結果

リサーチクエスチョン

• RQ1 少量のドメイン特化学習データでのみ、事前学習済み言語モデルが画像キャプションタスクに効果的に適応可能か？
• RQ2 大規模なマルチモーダルデータでの微調整中に、PLM由来の言語的知識が崩壊せずに保持されるか？
• RQ3 提案された自己再生型アテンションメカニズムは、低データ環境下で視覚的および言語的モダリティ信号のバランスを改善するか？
• RQ4 低リソース環境下で、VisualGPTはベースラインモデルと比較して、オブジェクトの誤認をどの程度低減するか？
• RQ5 最小限のデータで、医療レポート生成のような特殊分野に一般化可能か？

主な発見

• MS COCOの0.1%データで、VisualGPTは最良のベースラインと比較してCIDErスコアを10.0%も上回り、優れたデータ効率性を示した。
• Conceptual Captionsの1%データで、VisualGPTは最も強力なベースラインと比較してCIDErスコアを17.9%向上させ、低リソース環境下での有効性を実証した。
• VisualGPTは、IU X-ray医療レポート生成データセットにおいて、新たな最先端性能を樹立した。
• 人間による評価では、0.1%スプリットで39.2%のTurkerがVisualGPTの生成キャプションを好んだ。有意差あり（p < 0.05）。
• モデルはベースラインと比較して、オブジェクトの誤認が低く、オブジェクトカバレッジが向上しており、250枚のサンプル画像で事実的整合性が向上していることが確認された。
• 可視化により、SRAU機構が意味のある名詞（例：'desk'、'snowy surface'）に対して高い視覚的注目度を割り当て、機能語に対しては低注目度を示していることが確認され、人間の直感と整合的であることが示された。