[論文レビュー] Context-aware Captions from Context-agnostic Supervision

Ramakrishna Vedantam, Samy Bengio+3 more|arXiv (Cornell University)|Jan 11, 2017

Multimodal Machine Learning Applications参考文献 39被引用数 25

ひとこと要約

本論文は、文脈に依存しない画像キャプションモデルが、追加のトレーニングなしに、一般化されたトレーニングデータのみを用いて、判別性があり文脈に配慮したキャプションを生成できる、新しい推論手法を提案する。スピーカー（キャプション生成モデル）とリスナー（判別分類器）を同時に推論することで、追加のトレーニングを必要とせずに、正当化および判別的キャプション生成タスクでベースライン手法を上回り、CUB-200-2011およびCOCOデータセットで最先端の結果を達成する。

ABSTRACT

We introduce an inference technique to produce discriminative context-aware image captions (captions that describe differences between images or visual concepts) using only generic context-agnostic training data (captions that describe a concept or an image in isolation). For example, given images and captions of "siamese cat" and "tiger cat", we generate language that describes the "siamese cat" in a way that distinguishes it from "tiger cat". Our key novelty is that we show how to do joint inference over a language model that is context-agnostic and a listener which distinguishes closely-related concepts. We first apply our technique to a justification task, namely to describe why an image contains a particular fine-grained category as opposed to another closely-related category of the CUB-200-2011 dataset. We then study discriminative image captioning to generate language that uniquely refers to one of two semantically-similar images in the COCO dataset. Evaluations with discriminative ground truth for justification and human studies for discriminative image captioning reveal that our approach outperforms baseline generative and speaker-listener approaches for discrimination.

研究の動機と目的

• 文脈に依存しないトレーニングデータのみを用いて、文脈に配慮した判別的キャプションを生成できる画像キャプションモデルを実現すること。
• 細分化された視覚的識別に必要な人間による文脈特化キャプションの収集にかかる高コストとスケーラビリティの問題を解決すること。
• キャプション生成モデルの再トレーニングなしに、スピーカーとリスナーの行動を同時に最適化する統合された推論フレームワークを開発すること。
• 2つの実世界の視覚タスク、すなわち正当化（ターゲットクラスと干渉クラスの間で画像がどのクラスに属するかを説明すること）および判別的画像キャプション（意味的に類似した画像の中から1つの画像を一意に特定すること）に対して、このアプローチを評価すること。
• 細分化された鳥の画像を対象とした正当化システムの評価のための新しいベンチマークデータセット、CUB-Justifyを構築すること。

提案手法

• 事前にトレーニングされた文脈に依存しないキャプション生成モデルと判別的リスナーモデルの両方を同時に推論することで、文脈に配慮したキャプションを生成する内省的スピーカー（IS）モデルを提案する。
• リスナーの対数尤度比に基づく再ランク付け機構を用いて、生成されたキャプションがターゲット画像と干渉画像をどれだけうまく区別できるかを評価する。
• 温度制御付きサンプリング方式（λでパrameter化）を用いたビームサーチ戦略を採用し、キャプション生成における流暢さと判別性のバランスを取る。
• スピーカー・モデルを自らの出力について内省的に推論できるようにすることで、判別的データに対する追加のトレーニングを回避する。
• 生成モデルのサンプリング分布を再利用することで、キャプション品質を評価する別個の判別モデルをトレーニングする必要がなくなる。
• 本手法を2つのタスクに適用する：CUB-200-2011における正当化と、COCOにおける判別的キャプション生成で、評価には人間によるアノテート済みの正例を用いる。

実験結果

リサーチクエスチョン

• RQ1 文脈に依存しないキャプション生成モデルは、リスナーモデルとの推論時連携のみを用いて、微調整なしに判別的キャプションを生成できるか？
• RQ2 スピーカーとリスナーの共同推論は、サンプリングと再ランク付けのベースラインと比較して、文脈に配慮したキャプション生成においてどのように優れているか？
• RQ3 事前トレーニング済みのキャプション生成モデルは、一般化された監視のみを用いて、実用的で判別的な記述を生成できるよう、どの程度まで適応可能か？
• RQ4 提案された内省的スピーカーフレームワークは、意味的に類似した画像を区別するキャプションを生成する際、既存の手法を上回るか？
• RQ5 本手法は、ある鳥の画像がターゲット種に属する理由を、近縁種とは明確に区別できる説明を生成するのにどの程度効果的か？

主な発見

• 提案された内省的スピーカー（IS）アプローチは、CUB-Justifyの検証セットでCIDEr-Dスコア18.4 ± 0.2を達成し、RS(λ)ベースラインおよびトレーニング済みリスナーベースラインを顕著に上回った。
• IS(λ)モデルは、ビームサイズ10でもRS(λ)ベースラインを上回る性能を示したが、RS(λ)は100サンプルを必要としていたため、推論効率が顕著に優れていることが示された。
• トレーニング済みリスナーベースライン（RS(λ)-TL）はλ=0.5でCIDEr-D 16.2 ± 0.3を達成したが、IS(λ)モデルの18.4 ± 0.2より低く、共同推論の方がリスナーの別個トレーニングよりも効果的であることが示された。
• COCOデータセットにおける人間評価では、IS(λ)モデルが生成したキャプションは、ベースライン手法のものよりも判別性が高く、文脈に配慮していると確認された。
• 本手法により、追加のトレーニングなしに、既存の文脈フリーなキャプション生成モデルを文脈に配慮したキャプション生成に変換できることが可能になった。
• CUB-Justifyデータセットは、3161個の（画像、ターゲットクラス、干渉クラス）のトリプレットを含み、各々に5つの正当化が付与されており、判別的キャプションおよび正当化システムの評価のための新しいベンチマークを提供する。