[論文レビュー] Exploring Nearest Neighbor Approaches for Image Captioning

Jacob Devlin, Saurabh Gupta+3 more|arXiv (Cornell University)|May 17, 2015

Multimodal Machine Learning Applications参考文献 34被引用数 160

ひとこと要約

この論文は、類似する学習画像を検索し、CIDEr や BLEU スコアを用いてそれらのキャプションから一貫性のあるキャプションを選択することで、画像キャプション生成の最近傍（NN）手法を評価している。BLEU や CIDEr といった自動評価指標では、多くのニューラルキャプションモデルを上回っているが、人間による評価では生成モデルが依然として好まれており、自動指標と人間の判断の間には乖離が生じていることが示された。

ABSTRACT

We explore a variety of nearest neighbor baseline approaches for image captioning. These approaches find a set of nearest neighbor images in the training set from which a caption may be borrowed for the query image. We select a caption for the query image by finding the caption that best represents the "consensus" of the set of candidate captions gathered from the nearest neighbor images. When measured by automatic evaluation metrics on the MS COCO caption evaluation server, these approaches perform as well as many recent approaches that generate novel captions. However, human studies show that a method that generates novel captions is still preferred over the nearest neighbor approach.

研究の動機と目的

• シンプルな最近傍アプローチが、自動評価指標において最先端のニューラルキャプションモデルと同等またはそれを上回ることを調査すること。
• 人間のようないままでの画像キャプションを達成するために、キャプション生成とキャプション検索の役割を評価すること。
• 自動指標（BLEU、CIDEr）と人間の判断の間のギャップを、キャプション品質評価において評価すること。
• 最近傍検索におけるキャプション生成のための、さまざまな画像特徴表現（GIST、事前学習済み深層特徴、微調整済み特徴）の有効性を調査すること。
• MS COCO データセット上で、検索ベースの手法と生成ベースのモデルを比較することで、今後の研究のベースラインを提供すること。

提案手法

• 各クエリ画像に対して、GIST、事前学習済み ImageNet 特徴（fc7）、およびキャプション生成用に微調整された特徴といった、さまざまな特徴空間を用いて、k 個の最近傍の学習画像を検索する。
• k 個の最近傍画像から得られるキャプションを収集し、クエリ画像の潜在的なキャプションの集合を形成する。
• 他の候補キャプションとの合意度を測るスコアを最大化することで、共通のキャプションを選択する。このスコア関数として CIDEr または BLEU を用いる。
• 最終的なキャプションは、候補キャプションの中で最も高い共通スコアを持つものから選ぶ。CIDEr はより詳細で多様なキャプションを好む。
• 標準的な自動指標（BLEU、METEOR、CIDEr）と、クラウドソーシングによる人間評価を用いて、MS COCO テストセット上でアプローチを評価する。
• 人間評価では、システム生成キャプションと人間が書いたキャプションを比較し、より良い、同等、または悪いと判断されたキャプションの割合を測定する。

実験結果

リサーチクエスチョン

• RQ1 最近傍ベースのキャプション生成アプローチは、自動評価指標において最先端のニューラルキャプションモデルと同等の性能を達成できるか？
• RQ2 自動指標スコアが類似しているにもかかわらず、なぜ人間評価者たちは生成モデルを最近傍検索ベースの手法よりも好むのか？
• RQ3 GIST、事前学習済み、微調整済みといった異なる画像特徴表現は、検索されたキャプションの質にどのように影響するか？
• RQ4 BLEU や CIDEr といった自動指標が、画像キャプションにおいて人間の判断とどの程度相関しているか？
• RQ5 最近傍検索とニューラル生成を組み合わせたハイブリッドアプローチは、全体的なキャプション品質を向上させることができるか？

主な発見

• 微調整済みの深層特徴（fc7-fine）を用いた最近傍アプローチは、CIDEr や BLEU を含む複数の指標において、MS COCO テストセットで2位または3位の成績を達成した。
• fc7-fine モデルは 26.5 の CIDEr と 25.1 の BLEU を記録し、最近のニューラルキャプションモデルの多くを自動評価で上回った。
• 強力な自動指標スコアにもかかわらず、人間評価では NN が生成したキャプションのうちわずか 27.6% しか、人間が書いたキャプションと同等以上と判断されず、生成モデル（ME + DMSM）の 34.0% に比べて劣っていた。
• CIDEr を用いた共通キャプション選択法は、BLEU を用いた方法よりも詳細で文脈的に豊かなキャプションを生成した。
• 微調整済みの深層特徴（fc7-fine）は、GIST や非微調整特徴に比べて、最近傍検索の質において顕著に優れていた。
• 自動指標スコアが人間の好みを予測できなかったことから、自動指標と人間の判断の間に顕著な乖離があることが示唆された。