[論文レビュー] Towards Accurate Text-based Image Captioning with Content Diversity Exploration

Guanghui Xu, Shuaicheng Niu+4 more|arXiv (Cornell University)|Apr 23, 2021

Multimodal Machine Learning Applications参考文献 49被引用数 4

ひとこと要約

この論文では、キーテキストトークン（アンカーティンクン）を特定し、それらを基準にしたグラフ（ACG）を構築することで、多様で詳細なキャプションを生成する新規なテキストベースの画像キャプション生成法、Anchor-Captionerを提案する。このアプローチにより、TextCapsでSOTAを達成し、CIDErスコアが前回SOTAから6ポイント向上した。

ABSTRACT

Text-based image captioning (TextCap) which aims to read and reason images with texts is crucial for a machine to understand a detailed and complex scene environment, considering that texts are omnipresent in daily life. This task, however, is very challenging because an image often contains complex texts and visual information that is hard to be described comprehensively. Existing methods attempt to extend the traditional image captioning methods to solve this task, which focus on describing the overall scene of images by one global caption. This is infeasible because the complex text and visual information cannot be described well within one caption. To resolve this difficulty, we seek to generate multiple captions that accurately describe different parts of an image in detail. To achieve this purpose, there are three key challenges: 1) it is hard to decide which parts of the texts of images to copy or paraphrase; 2) it is non-trivial to capture the complex relationship between diverse texts in an image; 3) how to generate multiple captions with diverse content is still an open problem. To conquer these, we propose a novel Anchor-Captioner method. Specifically, we first find the important tokens which are supposed to be paid more attention to and consider them as anchors. Then, for each chosen anchor, we group its relevant texts to construct the corresponding anchor-centred graph (ACG). Last, based on different ACGs, we conduct multi-view caption generation to improve the content diversity of generated captions. Experimental results show that our method not only achieves SOTA performance but also generates diverse captions to describe images.

研究の動機と目的

• テキストキャプション生成における単一グローバルキャプション手法の限界、特に複雑で詳細なテキストおよび視覚的情報を捉えきれない点を解決すること。
• 画像の異なる部分に焦点を当てた複数のキャプションを生成することで、キャプションの正確性と多様性を向上させること。
• キャプション生成に最も有益なテキストトークンを特定する課題を解決すること。
• 画像内の多様なテキスト要素間の複雑な関係をモデル化し、より良いキャプション生成を実現すること。
• 構造化されたテキストグループ（ACG）を用いてマルチビューのキャプション生成をガイドすることで、コンテンツカバレッジを向上させること。

提案手法

• 意味的および視覚的情報に基づいてトークンの重要度をランキングするアンカープレディクタにより、アンカーが選択される。
• 選択された各アンカーを基準に、再帰的ニューラルネットワークを用いて関連するテキストトークンとの関係をモデル化し、アンカー中心グラフ（ACG）を構築する。
• 1枚の画像に対して複数のACGが生成され、それぞれが異なる領域や概念を表し、焦点を当てたキャプション生成が可能になる。
• まず、グローバルな視覚特徴を用いて視覚特化キャプションが生成される。
• 次に、各ACGを用いて視覚特化キャプションをテキスト特化キャプションに精緻化し、正確性と詳細さが向上する。
• アンカーキャプションモジュール（AnCM）は、ACGを活用して複数の視点から多様で文脈に根ざしたキャプションを生成する。

実験結果

リサーチクエスチョン

• RQ1 複雑なシーンに複数のテキストが存在する場合、特にどのテキストトークンがキャプション生成に最も有益であるかをどのように特定できるか？
• RQ2 画像内の多様なテキスト要素間の複雑な関係をどのようにモデル化すれば、キャプション品質が向上するか？
• RQ3 単一のグローバルキャプションではなく、画像の異なる部分に焦点を当てた複数の多様なキャプションを生成することは可能か？
• RQ4 テキスト情報をどのように効果的なグループ（ACG）に構造化し、マルチビューのキャプション生成をガイドできるか？
• RQ5 ACGベースのキャプション生成は、テキストベースの画像キャプションにおいて、正確性と多様性の両面でどの程度向上をもたらすか？

主な発見

• 提案手法のAnchor-Captionerは、TextCapsデータセットでCIDErスコア95.5を達成し、前回SOTA手法より6ポイント向上した。
• アブレーションスタディの結果、アンカープロポーザルモジュール（AnPM）から予測されたACGを用いることで、ベースライン手法よりも顕著に性能向上が確認された。
• 平均して未知語トークン（$<$unk$>$）の数が26.85%削減され、より良いテキストカバレッジとキャプション精緻化が示された。
• 同じACG入力を与えられた場合でも、AnCMはM4C-Captionerを上回る性能を示し、優れたキャプション生成能力を有することが確認された。
• ACGの使用により、$<$unk$>$トークンを含むキャプションの割合が66.39%削減され、OCRコンテンツの処理能力が向上したことが示された。
• 可視化結果から、本手法はベースラインモデルよりも多くのOCRトークンをカバーする多様で詳細なキャプションを生成することが確認された。