[論文レビュー] Going Beneath the Surface: Evaluating Image Captioning for Grammaticality, Truthfulness and Diversity

Huiyuan Xie, Tom Sherborne+2 more|arXiv (Cornell University)|Dec 19, 2019

Multimodal Machine Learning Applications参考文献 27被引用数 10

ひとこと要約

本稿では、人間の基準キャプションとの表面的類似性にとどまらない、画像キャプションモデルの評価を可能にするGTD（文法性、真実性、多様性）評価フレームワークを提案する。合成ベンチマークであるShapeWorldICEを用いて、BLEU や SPICE といった標準的指標が真実性や多様性を捉えられていないことが示され、GTDは複雑なシーンにおける空間的関係や数え上げの理解の欠落を明らかにする。

ABSTRACT

Image captioning as a multimodal task has drawn much interest in recent years. However, evaluation for this task remains a challenging problem. Existing evaluation metrics focus on surface similarity between a candidate caption and a set of reference captions, and do not check the actual relation between a caption and the underlying visual content. We introduce a new diagnostic evaluation framework for the task of image captioning, with the goal of directly assessing models for grammaticality, truthfulness and diversity (GTD) of generated captions. We demonstrate the potential of our evaluation framework by evaluating existing image captioning models on a wide ranging set of synthetic datasets that we construct for diagnostic evaluation. We empirically show how the GTD evaluation framework, in combination with diagnostic datasets, can provide insights into model capabilities and limitations to supplement standard evaluations.

研究の動機と目的

• 人間の基準キャプションとの表面的類似性に依存する既存の画像キャプション評価指標の限界を解消すること。
• 生成キャプションの文法性、真実性、多様性を直接測定できる診断的評価フレームワークを構築すること。
• 多様な視覚的および言語的状況においてモデルの挙動を細分化して分析できるように、合成ベンチマーク「ShapeWorldICE」を構築すること。
• BLEU や SPICE といった標準的指標が、特に複雑な視覚的推論タスクにおいて真のキャプション-画像整合性を信頼できる形で反映していないことを実証的に示すこと。
• 空間的推論、数え上げ、言語的多様性の分野におけるモデルの弱みを明らかにすることで、今後の研究を導くこと。

提案手法

• 文法性（文法的正しさ）、真実性（視覚的コンテンツとの整合性）、多様性（同じ画像に対する記述のばらつき）の3つの基準に基づく診断的評価フレームワークを設計する。
• オブジェクトの種類、空間的関係、属性、数の変化を制御した、ShapeWorld環境からの合成画像を用いてShapeWorldICEベンチマークを構築する。
• モデルの一般化能力を評価するため、相対節や限定詞を含む多様な文構造を持つ訓練用キャプションを生成する。
• LRCN 1u などの画像キャプションモデルをShapeWorldICEデータセットで訓練・評価し、さまざまなタスクタイプにおけるGTDスコアを測定する。
• 自動解析と論理的検証を用いて、生成キャプションを画像の視覚的コンテンツを形式的にモデル化したものと照合することで、真実性を評価する。
• 文法性、真実性、多様性の各学習曲線を追跡し、モデルの収束状態や失敗モードを分析する。

実験結果

リサーチクエスチョン

• RQ1 BLEU や SPICE といった標準的指標は、画像キャプションにおける真実性や文法性をどれほど的確に反映しているか。
• RQ2 既存のモデルは、複数の形状を含む空間的配置のような複雑な視覚的関係に対して、どの程度一般化できるか。
• RQ3 訓練データにおける言語的多様性が、より多様で多様なキャプション出力をもたらすか。
• RQ4 数え上げや割合記述のような異なる種類の視覚的推論タスクにおいて、真実性のパフォーマンスはどのように変化するか。
• RQ5 訓練損失の低下が、常に真実の視覚的コンテンツとのキャプション整合性の向上をもたらすのか。

主な発見

• LRCN 1u モデルは5,000回の訓練イテレーション以内にほぼ完全な文法性スコアを達成しており、構文的正しさの習得が迅速であることが示された。
• 複雑な空間的データセット（例：Spatial-MultiShapes）では真実性パフォーマンスが著しく低下し、2つの形状を持つ単純なシナリオでは100％であったのに対し、多数のオブジェクトを含むシーンではスコアが低下した。
• Quant-Ratio タスクではスコアがたった0.46にとどまり、割合に関する推論能力が著しく低いことが示され、徐々に向上する学習曲線から、タスクの高難度性がうかがえた。
• キャプションの多様性は、訓練データにおける言語的ばらつきに強く依存しており、空間的および数量的データセットでは多様な文構造のおかげで高い多様性比が観察された。
• モデルのキャプション整合性は、訓練損失の低下と一貫して向上しなかったため、最適化目的と評価基準の間に乖離があることが示された。
• BLEU や SPICE といった標準的指標は、複雑なシーンにおける真実性の失敗を検出できず、GTDを補足的評価フレームワークとして導入する必要があることが強調された。