[論文レビュー] MAGIC: Multimodal relAtional Graph adversarIal inferenCe for Diverse and Unpaired Text-based Image Captioning

Wenqiao Zhang, Haochen Shi+6 more|arXiv (Cornell University)|Dec 13, 2021

Multimodal Machine Learning Applications被引用数 7

ひとこと要約

MAGICは、顕著な物体を中心に適応的マルチモーダル関係グラフ（MRG）を構築し、ペaired学習データを一切使用せずに、滑らかで意味的に整合性のあるキャプションを生成するための新しいフレームワークを提案する。マルチモーダル関係グラフと段階的生成対抗ネットワーク（CGAN）を活用することで、テキスト豊富な画像に対する多様で高品質なキャプション生成が可能となり、TextCapsベンチマークにおいて最先端の性能を達成した。

ABSTRACT

Text-based image captioning (TextCap) requires simultaneous comprehension of visual content and reading the text of images to generate a natural language description. Although a task can teach machines to understand the complex human environment further given that text is omnipresent in our daily surroundings, it poses additional challenges in normal captioning. A text-based image intuitively contains abundant and complex multimodal relational content, that is, image details can be described diversely from multiview rather than a single caption. Certainly, we can introduce additional paired training data to show the diversity of images' descriptions, this process is labor-intensive and time-consuming for TextCap pair annotations with extra texts. Based on the insight mentioned above, we investigate how to generate diverse captions that focus on different image parts using an unpaired training paradigm. We propose the Multimodal relAtional Graph adversarIal inferenCe (MAGIC) framework for diverse and unpaired TextCap. This framework can adaptively construct multiple multimodal relational graphs of images and model complex relationships among graphs to represent descriptive diversity. Moreover, a cascaded generative adversarial network is developed from modeled graphs to infer the unpaired caption generation in image-sentence feature alignment and linguistic coherence levels. We validate the effectiveness of MAGIC in generating diverse captions from different relational information items of an image. Experimental results show that MAGIC can generate very promising outcomes without using any image-caption training pairs.

研究の動機と目的

• テキストが豊富で、現実世界のシーンにおいても一般的な画像に対して、多様で詳細なキャプションを生成する課題に対処すること。
• 1つのキャプションしか生成できないモデルの限界を克服し、画像の内容を複数の視点から捉えること。
• 高価で手間のかかるペアド画像・キャプションのアノテーションに依存せずに、多様なキャプションを生成するフレームワークを開発すること。
• 画像内のオブジェクト、属性、テキストの間の複雑な内部的およびクロスモーダル関係をモデル化し、より豊かなキャプション生成を実現すること。
• 共有の潜在空間に画像と文の特徴をアライメントさせつつ、言語の整合性を保ちながら、効果的なペアドでない学習を可能にすること。

提案手法

• フレームワークは、複数のマルチモーダル関係グラフ（MRG）の構築を誘導する顕著な画像領域を特定するための、中心的オブジェクトに特化したプール（COP）を用いる。
• 各MRGは、中心的オブジェクトと関連する視覚的およびテキスト的要素との間の意味的関係を符号化し、内部的およびクロスモーダル関係を捉える。
• 画像文特徴のアライメントをモデル化し、言語の流暢さを保証することで、多様なキャプションを生成するため、段階的生成対抗ネットワーク（CGAN）が採用される。
• CGANは、本物のキャプションと生成されたキャプションを区別する識別器と、MRGに条件付けられたキャプションを生成する生成器から構成される。
• モデルは、ペアド例が存在しない状況でエンドツーエンドに学習され、対照的学習を用いてペアド例がなくても画像と文の表現をアライメントする。
• ルールベースと学習可能な2つの中央オブジェクト選択戦略をサポートしており、画像の異なる側面に適応的に注目できる。

実験結果

リサーチクエスチョン

• RQ1 ペアド学習データに依存せずに、テキスト豊富な画像に対して多様なキャプションを生成する方法は何か？
• RQ2 異なる中央オブジェクト選択戦略は、キャプションの多様性と品質にどのように影響するか？
• RQ3 マルチモーダル関係グラフは、画像・テキストシーンにおける複雑な内部的およびクロスモーダル関係を効果的にモデル化できるか？
• RQ4 提案されたCGANアーキテクチャは、ペアドでないキャプション生成において、特徴のアライメントと言語の整合性をどのように向上させるか？
• RQ5 モデルは、キャプション生成において意味的整合性を保ち、幻覚を回避する程度はどの程度か？

主な発見

• MAGICは、ペアド画像・キャプション学習データを一切使用せずに、TextCapsベンチマークにおいてキャプションの多様性と品質で最先端の性能を達成した。
• 単一キャプションベースラインのISM-LSTMに比べ、すべての多様性指標で顕著に優れており、特に生成キャプション間の意味的類似度を測るSelfCiderにおいて顕著な向上を示した。
• アブレーションスタディの結果、ルールベースの方法に比べ、学習ベースの中央オブジェクト選択が、より優れたキャプションの多様性と正確性を達成した。
• フレームワークは、'can-sit-next-to-bottle' や 'bottle-of-energy-drink' のような複雑なマルチモーダル関係を正しくモデル化したキャプションを生成したが、ベースラインモデルはこれを捉えられなかった。
• 人的評価では、MAGICが生成するキャプションは、アブレーションバージョン（MAGIC w/o CGAN）に比べ、より流暢で正確かつ多様であることが確認された。
• t-SNE可視化により、ペアドでない設定下でも、画像特徴と文特徴の間で意味的に整合性があり、適切にアライメントされた潜在空間が学習されていることが確認された。