[論文レビュー] Injecting Semantic Concepts into End-to-End Image Captioning

Zhiyuan Fang, Jianfeng Wang+6 more|arXiv (Cornell University)|Dec 9, 2021

Multimodal Machine Learning Applications被引用数 8

ひとこと要約

この論文では、視覚変換器に基づく検出器フリーな画像キャプション生成モデルであるViTCAPを提案する。ViTCAPは、新たな概念トークンネットワーク（CTN）を用いて意味的コンセプトを統合することで、キャプション品質を向上させる。画像特徴から概念トークンを予測し、それをキャプション生成デコーダーに統合することで、オブジェクト検出器に依存せずにCOCO、nocaps、Google-CCのデータセットで最先端の性能を達成した。

ABSTRACT

Tremendous progress has been made in recent years in developing better image captioning models, yet most of them rely on a separate object detector to extract regional features. Recent vision-language studies are shifting towards the detector-free trend by leveraging grid representations for more flexible model training and faster inference speed. However, such development is primarily focused on image understanding tasks, and remains less investigated for the caption generation task. In this paper, we are concerned with a better-performing detector-free image captioning model, and propose a pure vision transformer-based image captioning model, dubbed as ViTCAP, in which grid representations are used without extracting the regional features. For improved performance, we introduce a novel Concept Token Network (CTN) to predict the semantic concepts and then incorporate them into the end-to-end captioning. In particular, the CTN is built on the basis of a vision transformer and is designed to predict the concept tokens through a classification task, from which the rich semantic information contained greatly benefits the captioning task. Compared with the previous detector-based models, ViTCAP drastically simplifies the architectures and at the same time achieves competitive performance on various challenging image captioning datasets. In particular, ViTCAP reaches 138.1 CIDEr scores on COCO-caption Karpathy-split, 93.8 and 108.6 CIDEr scores on nocaps, and Google-CC captioning datasets, respectively.

研究の動機と目的

• オブジェクト検出器の計算的・アーキテクチャ的オーバーヘッドを排除する検出器フリーな画像キャプション生成モデルの開発。
• マルチモodal統合プロセスに豊富な意味的コンセプトを統合することで、キャプション生成の性能を向上させること。
• 画像キャプションから得られる概念トークンとオブジェクト検出器のタグを、それぞれの監督信号として効果的に比較すること。
• 純粋な視覚変換器バックボーンに軽量なCTNを組み合わせたアーキテクチャが、検出器ベースおよび既存の検出器フリーなモデルを上回ることを実証すること。

提案手法

• 入力画像からグリッド特徴を生成するため、視覚変換器（ViT）を視覚エンコーダーとして使用し、オブジェクト検出器の必要性を排除する。
• ViTの上流に軽量なヘッドとして、概念トークンネットワーク（CTN）を導入し、分類タスクを通じて意味的コンセプトトークンを予測する。
• CTNは、テキストから抽出した疑似正例信号を用いて、画像キャプションから得られるコンセプトトークンを予測するように学習する。
• 予測された上位-K個の概念トークンをグリッド特徴と統合し、マルチモーダル変換器デコーダーでエンドツーエンドのキャプション生成を実現する。
• 大規模な事前学習において、二塔型の学習スキームを採用し、CTNが最初にすべての画像に対してコンセプトを予測し、それらを事前用意されたタグとして利用する。
• ファインチューニング段階で、事前学習済みの視覚言語モデル（教師モデル）から知識蒸留を適用し、学生モデルの性能を向上させる。

Figure 1 : Comparisons of different image captioning models . Top: A general image captioning pipeline. Bottom: (a). Prevailing conventional models [ 39 , 79 , 25 ] which are based on an object detector to extract regional features. Object tags [ 38 , 79 ] can be optionally used to assist the text g

実験結果

リサーチクエスチョン

• RQ1 視覚変換器に基づく検出器フリーな画像キャプション生成モデルは、オブジェクト検出器に依存せずに、競争力のある性能を達成できるか？
• RQ2 画像キャプションから抽出した意味的コンセプトトークンを統合することで、オブジェクト検出器のタグを用いる場合と比較して、キャプション品質が向上するか？
• RQ3 概念トークンネットワーク（CTN）は、キャプション生成に向けた豊富な意味的情報を効果的に捉え、活用できるか？
• RQ4 純粋な視覚変換器アーキテクチャに軽量なCTNブランチを組み合わせたモデルは、標準ベンチマークで既存の検出器ベースおよび検出器フリーなモデルを上回る性能を示せるか？

主な発見

• COCOキャプションのKarpathyスプリットにおいて、ViTCAPはCIDErスコア138.1を達成し、大多数の既存の検出器ベースモデルを上回り、検出器フリーなモデルにおける新たな最先端性能を樹立した。
• nocapsデータセットでは、ViTCAPはCIDErスコア95.4を達成し、オープンボキャブラリーかつ多様な画像記述に対して優れた一般化性能を示した。
• Google-CCデータセットでは、ViTCAPはCIDErスコア108.6を達成し、大規模でオープンドメインの画像キャプションタスクにおいて優れた性能を示した。
• アブレーションスタディの結果、画像キャプションから抽出したコンセプトトークンが、オブジェクト検出器のタグよりもCTNの監督信号として優れていることが確認された。
• 大規模な事前学習がなくても、ViTCAPはSMURFスコア0.55を達成し、人的判断と良好に相関することが示された。
• 可視化の結果、異なる変換器ブロックのアテンションマップが異なる画像領域に注目しており、平均化されたマップは包括的なコンテンツをカバーしていることが示され、弱教師ありグランドイングへの可能性が示唆された。

Figure 2 : Architecture of our proposed ViTCAP image captioning model . ViTCAP is a detector-free image captioning model based on the vision transformer, where image patches are encoded into continuous embeddings as grid representations. The CTN branch roots from an intermediate block of the image e