[論文レビュー] Diverse Image Captioning with Context-Object Split Latent Spaces

Shweta Mahajan, Stefan Roth|arXiv (Cornell University)|Nov 2, 2020

Multimodal Machine Learning Applications参考文献 53被引用数 25

ひとこと要約

本論文は、画像とキャプション間の文脈的類似性をプーシューサービジョンを用いて活用することで、多様な画像キャプション生成を向上させる、コンテキスト・オブジェクト分割潜在変数モデルであるCOS-CVAEを提案する。潜在空間をコンテキストとオブジェクトの成分に因子分解することにより、新規オブジェクトでさえもより多様で正確なキャプションを生成できるようになり、COCOベンチマークで最先端の性能を達成した。新規オブジェクトを含む画像に対して68.1%のF1スコアを達成した。

ABSTRACT

Diverse image captioning models aim to learn one-to-many mappings that are innate to cross-domain datasets, such as of images and texts. Current methods for this task are based on generative latent variable models, e.g. VAEs with structured latent spaces. Yet, the amount of multimodality captured by prior work is limited to that of the paired training data -- the true diversity of the underlying generative process is not fully captured. To address this limitation, we leverage the contextual descriptions in the dataset that explain similar contexts in different visual scenes. To this end, we introduce a novel factorization of the latent space, termed context-object split, to model diversity in contextual descriptions across images and texts within the dataset. Our framework not only enables diverse captioning through context-based pseudo supervision, but extends this to images with novel objects and without paired captions in the training data. We evaluate our COS-CVAE approach on the standard COCO dataset and on the held-out COCO dataset consisting of images with novel objects, showing significant gains in accuracy and diversity.

研究の動機と目的

• 既存の多様な画像キャプション生成モデルにおけるマルチモーダル性の制限を解消すること。これは、ペairedトレーニングデータに制限されるためである。
• アノテート済みのトレーニングペアの範囲を超えて、画像間で共有される文脈的記述を活用することで、キャプションの多様性を向上させること。
• トレーニング中に登場しなかった新規オブジェクトを含む画像に対して、正確で多様なキャプション生成を可能にすること。
• 効率的かつ並列に多様なキャプションをサンプリングできる、変分オートエンコーダーのフレームワークを開発すること。

提案手法

• 潜在表現をコンテキストとオブジェクトの成分に因子分解するコンテキスト・オブジェクト分割潜在空間（COS）を導入する。
• 類似したシーンを持つ画像からの文脈的アノテーションを用いて、偽の教師信号を提供し、潜在空間内のマルチモーダルな多様性を向上させる。
• 画像を条件としてキャプションの条件付き分布をモデル化するため、構造的潜在変数を備えた条件付き変分オートエンコーダー（CVAE）を採用する。
• ビームサーチ制約（CBS）を適用し、多様性を保ちつつキャプション品質を向上させる。
• アテンションメカニズムと領域ベースの特徴を活用して、生成されたキャプションと視覚的コンテンツの整合性を高める。
• ペアド画像・キャプションデータと、意味的に類似した画像からの文脈ベースの偽教師信号の両方を用いてモデルを訓練する。

実験結果

リサーチクエスチョン

• RQ1 文脈ベースの偽教師信号は、ペアドトレーニングデータの限界を超えて、画像キャプションの多様性と正確性を向上させることができるか？
• RQ2 因子化された潜在空間は、文脈的およびオブジェクトレベルの情報を効果的に分離し、キャプション生成を改善できるか？
• RQ3 本モデルは、トレーニングデータに存在しなかった新規オブジェクトを含む画像に対しても一般化できるか？
• RQ4 提案されたCOS-CVAEフレームワークは、標準ベンチマークにおいて、既存の最先端モデルを上回る多様性と正確性を達成できるか？

主な発見

• COS-CVAEは、新規オブジェクトを含む画像に対して、ホールドアウトされたCOCOデータセットで68.1%のF1スコアを達成し、先行手法を顕著に上回った。
• モデルは高精度な多様なキャプションを生成でき、5つのキャプションをサンプリングする場合でも、関連性と多様性を反映するCIDErスコアを達成した。
• 新規オブジェクトの言及に対するF1スコアは、5サンプルの際の62.5%から100サンプルの際の65.0%に上昇し、より多様なサンプリングによる一般化性能の向上が示された。
• COS-CVAEにビームサーチ制約（CBS）を追加することで、F1スコアが3.1ポイント向上し、構造的デコードの利点が裏付けられた。
• COS-CVAEは、ホールドアウトされたすべてのオブジェクトカテゴリで平均65.0%のF1スコアを達成し、前回の最先端手法を16ポイント以上上回った。
• モデルは、従来のアプローチにおけるビームサーチの計算非効率性を克服し、多様なキャプションの効率的かつ並列なサンプリングを可能にした。