[論文レビュー] Describing like humans: on diversity in image captioning

Qingzhong Wang, Antoni B. Chan|arXiv (Cornell University)|Mar 28, 2019

Multimodal Machine Learning Applications参考文献 35被引用数 18

ひとこと要約

本稿では、カーネル化されたCIDErスコアと潜在的意味分析を用いて、キャプション集合内の意味的多様性を測定する、画像キャプションのための新規多様性指標Self-CIDErを提案する。最先端のモデルが正確性を最適化する（例：CIDEr）がために低キャプション多様性を示すことが明らかになり、強化学習における交差エントロピー損失とCIDEr報酬のバランスを取ることで、正確性と多様性のトレードオフを効果的に改善できることを示している。

ABSTRACT

Recently, the state-of-the-art models for image captioning have overtaken human performance based on the most popular metrics, such as BLEU, METEOR, ROUGE, and CIDEr. Does this mean we have solved the task of image captioning? The above metrics only measure the similarity of the generated caption to the human annotations, which reflects its accuracy. However, an image contains many concepts and multiple levels of detail, and thus there is a variety of captions that express different concepts and details that might be interesting for different humans. Therefore only evaluating accuracy is not sufficient for measuring the performance of captioning models --- the diversity of the generated captions should also be considered. In this paper, we proposed a new metric for measuring the diversity of image captions, which is derived from latent semantic analysis and kernelized to use CIDEr similarity. We conduct extensive experiments to re-evaluate recent captioning models in the context of both diversity and accuracy. We find that there is still a large gap between the model and human performance in terms of both accuracy and diversity and the models that have optimized accuracy (CIDEr) have low diversity. We also show that balancing the cross-entropy loss and CIDEr reward in reinforcement learning during training can effectively control the tradeoff between diversity and accuracy of the generated captions.

研究の動機と目的

• 画像キャプションにおける意味的多様性を評価するための信頼性のある指標の欠如に対処すること。
• 標準指標（例：CIDEr）で人間を上回る性能を示す最先端モデルが、実際に人間水準のキャプション多様性を達成しているかどうかを調査すること。
• 訓練中にキャプションの正確性と多様性の制御可能なトレードオフを実現する手法を開発すること。
• CIDErに基づくカーネル化から得られる潜在的意味空間を用いて、キャプション集合の意味的内容を可視化・解釈すること。

提案手法

• すべてのキャプションペア間のCIDErスコアに基づく自己類似性行列を構築することにより、キャプション集合内の多様性を測定するSelf-CIDErという指標を提案する。
• CIDErに基づく類似度行列にカーネル化された潜在的意味分析（LSA）を適用し、キャプション集合からの意味的成分を抽出する。
• カーネル行列の特異値分解（SVD）を用いて、特異値から多様性スコアを導出する。特異値が大きいほど意味的多様性が高くなる。
• ラジアルチャートを用いて、2次元の潜在的意味空間にキャプション集合を可視化する。各軸は「食べる」や「話している」などの主要な意味的コンセプトに対応する。
• 交差エントロピー損失とCIDErに基づく報酬のバランスを取ることで、正確性と多様性のトレードオフを制御できる強化学習訓練戦略を導入する。
• mBLEUなどのベースラインと比較して指標を検証し、Self-CIDErがn-gramベースの指標よりも多様性をより適切に捉えていることを示している。

実験結果

リサーチクエスチョン

• RQ1 最先端のモデルが生成するキャプションの多様性は、人間がアノテートしたキャプションと比較して、意味的変動の面でどの程度異なるか？
• RQ2 CIDEr類似度とカーネル化されたLSAに基づく指標は、キャプション集合の意味的多様性を効果的に測定できるか？
• RQ3 現在の画像キャプションモデルにおけるキャプションの正確性と多様性のトレードオフはどのようなものか？
• RQ4 バランスの取れた損失関数を用いた強化学習により、キャプション生成における正確性と多様性の両方を向上させられるか？

主な発見

• CIDErの正確性を最適化するために訓練された最先端モデルは、人間がアノテートしたセットと比較して、有意に低い意味的多様性を示す。
• Self-CIDEr指標は人間による多様性評価と強く相関しており、mBLEUよりもキャプション間の意味的差をより適切に捉えている。
• 強化学習において交差エントロピーとCIDEr報酬のバランスの取れた組み合わせで訓練されたモデルは、正確性を損なわず、より高い多様性を達成している。
• 潜在的意味空間における可視化から、人間のキャプションは「食べる」や「小さな女の子」のような重要な概念に注目しているのに対し、モデルが生成するキャプションはしばしばそのような意味的ニュアンスを欠いているか、歪めていることがわかる。
• Self-CIDEr指標は、繰り返しのフレーズ（例：「キリンが草を食べている」）を含むセットが、mBLEUスコアが高くても多様性が低いことを的確に特定している。