[論文レビュー] Learning to Evaluate Image Captioning

Yin Cui, Guandao Yang+3 more|arXiv (Cornell University)|Jun 17, 2018

Multimodal Machine Learning Applications参考文献 31被引用数 17

ひとこと要約

この論文は、CNN-LSTMアーキテクチャとバイナリ分類器を用いて、人間が書いたものと機械生成されたものとを区別する学習ベースの判別的メトリックを提案する。病理的キャプション変換を用いたデータ拡張を組み込むことで、Flickr 8kおよびCOCOベンチマークの両方で、CIDEr、METEOR、ROUGE、SPICEを上回る人間の判断との相関を達成する。

ABSTRACT

Evaluation metrics for image captioning face two challenges. Firstly, commonly used metrics such as CIDEr, METEOR, ROUGE and BLEU often do not correlate well with human judgments. Secondly, each metric has well known blind spots to pathological caption constructions, and rule-based metrics lack provisions to repair such blind spots once identified. For example, the newly proposed SPICE correlates well with human judgments, but fails to capture the syntactic structure of a sentence. To address these two challenges, we propose a novel learning based discriminative evaluation metric that is directly trained to distinguish between human and machine-generated captions. In addition, we further propose a data augmentation scheme to explicitly incorporate pathological transformations as negative examples during training. The proposed metric is evaluated with three kinds of robustness tests and its correlation with human judgments. Extensive experiments show that the proposed data augmentation scheme not only makes our metric more robust toward several pathological transformations, but also improves its correlation with human judgments. Our metric outperforms other metrics on both caption level human correlation in Flickr 8k and system level human correlation in COCO. The proposed approach could be served as a learning based evaluation metric that is complementary to existing rule-based metrics.

研究の動機と目的

• 画像キャプション評価における従来のルールベースメトリック（例：BLEU、CIDEr、METEOR、ROUGE）の、人間の判断との相関が低い問題に対処する。
• 繰り返しや文法的に誤った文など、検出を避けがちな病理的キャプション構造を処理できないルールベースメトリックの不柔軟性を克服する。
• 人間の批判行動を直接モデル化する学習可能で頑健な評価メトリックを開発する。具体的には、人間のキャプションと機械生成キャプションを区別する分類器を訓練することで、チューリングテストに類似した区別を学習する。
• データ拡張を用いて、意図的に生成された病理的キャプションをネガティブトレーニング例として明示的に組み込むことで、メトリックの頑健性と人間との相関を向上させる。
• 提案されたメトリックが人間の判断とより一致しているだけでなく、手動でのルール更新が不要な状態で、新しい病理的ケースに対しても適応可能であることを示す。

提案手法

• 画像特徴を抽出するためのCNNと、キャプションテキスト表現を符号化するLSTMベースのRNNを用いて、判別モデルを訓練する。
• バイナリ分類器（「批判」）を用いて、与えられたキャプションが人間が書いたものか機械生成されたものかを予測し、人間の判断を模倣する。
• 制御された言語的変換（例：繰り返し、文法的歪み）を適用することで、合成された病理的キャプションをネガティブトレーニング例として生成するデータ拡張スキームを導入する。
• 実際の人のキャプションと拡張された病理的キャプションの組み合わせでモデルを訓練することで、まれなまたは敵対的な文構造に対しても一般化と頑健性を向上させる。
• 既知の病理的変換に対して体系的なテストを実施し、不自然または冗長なキャプションを罰する能力を測定することで、メトリックの頑健性を評価する。
• 検証セット（例：COCOおよびFlickr 8k）で2重交差検証戦略を適用し、一般化の信頼性を確保するとともに、データ漏洩を回避する。

実験結果

リサーチクエスチョン

• RQ1 学習ベースのメトリックは、従来のルールベースメトリックよりも、画像キャプション評価における人間の判断との相関を上回ることができるか？
• RQ2 病理的キャプション変換を用いたデータ拡張は、学習ベース評価メトリックの頑健性と一般化能力をどの程度向上させることができるか？
• RQ3 提案されたメトリックは、既存のメトリックと比較して、COCOやFlickr 8kなどの異なる画像キャプションベンチマークにどの程度一般化できるか？
• RQ4 従来のメトリックが特定できない文法的または意味的に誤ったキャプションを、メトリックは効果的に検出し、罰することができるか？
• RQ5 トレーニング時に見られなかったアドバーシャルまたは不自然なキャプション構造の下でも、メトリックは高い性能を維持できるか？

主な発見

• 提案されたメトリックは、Flickr 8kで専門家アノテーションとのケンダールのτ相関が0.466を達成し、SPICE（0.456）および他のすべてのルールベースメトリックを上回った。
• COCO検証セットでは、人間判断（M1）とのピアソン相関係数ρが0.939に達し、SPICE（0.759）および他のベースラインを著しく上回った。
• データ拡張を適用した場合、人間判断との相関は、DAなし（ρ = 0.821）からDAあり（ρ = 0.939）に向上し、敵対的トレーニング例の有効性を示した。
• 図7に示すように、トップパフォーマンスのキャプションモデルの順序付けにおいて、人間の判断と強い一致を示した。これは、高品質な出力を人間が好む傾向を正しく反映している。
• 繰り返しや文法的歪みといった病理的変換に対しても、メトリックは頑健である。これらは、SPICEなどのルールベースメトリックがしばしば見過ごす。
• 従来のメトリックとは異なり、固定されたヒューリスティクスを持つため、手動でのルール更新が不要な状態で、新しい病理的ケースに対しても柔軟に適応可能である。