[論文レビュー] Technical Report: Image Captioning with Semantically Similar Images

Martin Kolář, Michal Hradiš+1 more|arXiv (Cornell University)|Jun 12, 2015

Multimodal Machine Learning Applications参考文献 5被引用数 5

ひとこと要約

この論文は、CNN埋め込みを用いて意味的に類似したトレーニング画像を検索し、ユニグラム頻度に基づいてそれらの集合的キャプションから最も代表的なキャプションを選択する、シンプルでありながら効果的な画像キャプション生成手法を提案する。標準的な自動評価指標では低スコアを示すが、チューリングテストの通過率では人間のキャプションを上回り、人間評価でも「より良いか同等」とされる点で競争力がある。

ABSTRACT

This report presents our submission to the MS COCO Captioning Challenge 2015. The method uses Convolutional Neural Network activations as an embedding to find semantically similar images. From these images, the most typical caption is selected based on unigram frequencies. Although the method received low scores with automated evaluation metrics and in human assessed average correctness, it is competitive in the ratio of captions which pass the Turing test and which are assessed as better or equal to human captions.

研究の動機と目的

• 意味的類似性を活用した、生成的でないシンプルな画像キャプション手法の開発。
• 意味的に類似したトレーニング画像の複数のキャプションを集約し、その中から選択することでキャプション品質の向上。
• 標準的指標に加え、人間の判断およびチューリングテスト基準を用いた評価を通じて、本手法の性能を評価すること。
• エンドツーエンド学習を一切行わず、最小限のアーキテクチャの複雑さで強力なベースラインを確立すること。

提案手法

• ImageNet-ILSVRCで事前学習されたCaffe CNNの最終全結合層を、4096次元の意味的埋め込みとして画像に用いる。
• CNN埋め込み空間におけるコサイン距離を用いて、テスト画像に最も近い10枚のトレーニング画像を特定する。
• 10枚の近傍画像にそれぞれ5つのキャプション（合計50個）を集めて候補コーパスを構築し、画像の順序は無視する。
• 頻度に基づくクリーニング処理を実施：コーパス内で最も頻出する語を含まない文を反復的に削除し、Google N-gramsの上位100語はスキップする。
• 1つの文だけが残るまでクリーニング処理を継続し、最終的に残った文を最終的なキャプションとして選択する。
• 最近傍検索には固定のn=10を用い、他の距離測定法と比較してコサイン距離が優れている。

実験結果

リサーチクエスチョン

• RQ1 意味的類似性とユニグラム頻度に依存するシンプルで生成的でない手法が、より複雑なモデルを上回る人間評価性能を示せるか？
• RQ2 ユニグラム頻度に基づくキャプション選択の品質は、人間がアノテートしたキャプションと比較して自然さと一貫性の点でどう異なるか？
• RQ3 リtrieバルベースのキャプション生成システムは、人間が生成したキャプションと比較して、どの程度チューリングテストに合格できるか？
• RQ4 標準的な自動評価指標のスコアが低くても、人間の判断において「より良いか同等」とされる割合が、人間のキャプションを上回るのか？

主な発見

• 生成キャプションのうち、人間のキャプションと同等以上と評価された割合は19.4%に達し、ランダム（0.7%）を著しく上回り、人間の性能（63.8%）に近づいた。
• 生成キャプションの21.3%がチューリングテストに合格したが、人間キャプションは67.5%、ランダムは2.0%にとどまった。
• 正答度の平均スコアは5点満点中3.079であり、ランダム（1.084）を著しく上回ったが、人間（4.836）よりは低い。
• 詳細度の平均スコアは5点満点中3.482で、人間（3.428）とほぼ同等であり、ランダム（3.247）を著しく上回った。これは適切な記述の質を示している。
• 生成キャプションの15.4%が人間の記述と類似すると評価されたが、人間キャプションは35.2%、ランダムは1.3%であった。
• 標準的な自動評価指標では低スコアであったが、人間中心の評価では特に主観的品質および人間らしさの点で優れた性能を示した。