[論文レビュー] Language Models for Image Captioning: The Quirks and What Works

Jacob Devlin, Hao Cheng+6 more|arXiv (Cornell University)|May 7, 2015

Multimodal Machine Learning Applications参考文献 23被引用数 119

ひとこと要約

この論文は、同じ最先端のCNN特徴量を用いた画像キャプション生成における言語モデルアプローチを比較し、Multimodal Recurrent Neural Network (MRNN) はより高い BLEU スコアを達成するが、2段階の Maximum Entropy Language Model (ME LM) に Deep Multimodal Similarity Model (DMSM) の再順序付けを組み合わせたモデルが、より新規で人間が好むキャプションを生成することを明らかにした。ME LM + DMSM システムは COCO で新たな SOTA BLEU スコアを記録したが、人間評価では自動指標を上回ることを示し、自動指標と人間の判断の間には乖離が生じていることが浮き彫りになった。

ABSTRACT

Two recent approaches have achieved state-of-the-art results in image captioning. The first uses a pipelined process where a set of candidate words is generated by a convolutional neural network (CNN) trained on images, and then a maximum entropy (ME) language model is used to arrange these words into a coherent sentence. The second uses the penultimate activation layer of the CNN as input to a recurrent neural network (RNN) that then generates the caption sequence. In this paper, we compare the merits of these different language modeling approaches for the first time by using the same state-of-the-art CNN as input. We examine issues in the different approaches, including linguistic irregularities, caption repetition, and data set overlap. By combining key aspects of the ME and RNN methods, we achieve a new record performance over previously published results on the benchmark COCO dataset. However, the gains we see in BLEU do not translate to human judgments.

研究の動機と目的

• 同じ最先端のCNN特徴量を条件として用いた場合の、言語モデルアプローチ（特にME LMとRNN）の有効性を比較すること。
• 画像キャプションにおいて、BLEU などの自動指標が人間の判断と一致しない理由を調査すること。
• 特に構成的に新規な画像に対して、キャプションの新規性とデータセットの多様性がモデル性能に与える影響を評価すること。
• データセットの重複と言語的不規則性が、キャプション生成の品質に与える影響を評価すること。
• k-最近傍法のような単純な検索手法が、複雑なニューラルモデルと同等の性能を発揮できるかどうかを検討すること。

提案手法

• 著者らは、COCOで微調整された16層のVGGNetを、全モデルの共通の視覚エンコーダーとして用い、比較のための一貫した入力を確保した。
• ME LM アプローチでは、閾値（α=0.5）以上のCNN特徴量から単語の袋（bag of words）を抽出し、ビームサーチによってこれらの単語の部分集合をカバーする文を生成する。この際、すでに生成済みの単語は動的プルーニングされる。
• D-ME+DMSM システムでは、ME LM の n 個の最良出力に対して Deep Multimodal Similarity Model を用いて再順序付けを行い、画像とテキストの埋め込みを共有のベクトル空間で一致させることで、意味的関連性を向上させた。
• MRNN モデルは、最終的なCNN活性化（fc7層）を直接ゲート付き再帰ニューラルネットワーク（GRNN）に条件付け、離散的単語検出を経ずに自己回帰的にキャプションを生成する。
• k-最近傍法ベースラインは、画像特徴量の類似度に基づいて訓練セットから最も類似したキャプションを検索し、比較のための強力なベースラインを提供する。
• 性能評価は、COCOテストセットにおけるBLEUスコア、キャプション品質に関する人間評価、およびキャプションの新規性と繰り返しの分析によって行われた。

実験結果

リサーチクエスチョン

• RQ1 同じCNN特徴量を条件として用いた場合、ME言語モデルとRNNベースのモデルは、画像キャプションにおいてどのように比較されるか？
• RQ2 MRNN は、より多くの繰り返しや新規性に欠けるキャプションを生成しているにもかかわらず、なぜME LM よりも高い BLEU スコアを達成しているのか？
• RQ3 データセットの重複とキャプションの繰り返しが、モデルの汎化性能と人間評価の結果にどの程度影響を与えるか？
• RQ4 k-最近傍法のような単純な検索手法は、COCOデータセットにおいて、複雑なニューラルキャプションモデルと同等に性能を発揮できるか？
• RQ5 DMSM を用いた再順序付けを組み合わせることで、BLEU などの自動指標を超えてキャプション品質が著しく向上するのか？

主な発見

• MRNN モデルは、COCOテストセット全体で BLEU スコア 25.7 を達成し、自動指標においてME LM や D-ME+DMSM システムを上回った。
• MRNN と組み合わせた D-ME+DMSM システムは、27.3 の新たなSOTA BLEUスコアを記録し、以前に発表された結果を1.6 BLEUポイント上回った。
• 高い BLEU スコアにもかかわらず、MRNN は著しく繰り返しの多いキャプションを生成しており、そのうち60.3%が訓練セットに既に存在した出力であった。これに対して、D-ME+DMSM は30.0%にとどまった。
• D-ME+DMSM システムは47.0%の独自キャプションを生成し、新規性が高く、構成的に新規な画像（全体の20%）では、MRNN よりも2.1 BLEUポイント高いスコアを記録した。
• 人間評価では、D-ME+DMSM がMRNN よりも顕著に好まれており、人間の品質判断が高スコアのBLEU値よりも新規性と汎化性能を重視していることが示された。
• k-最近傍法は、BLEU（26.0）と人間評価の両方でMRNN と同等の性能を示し、検索ベースのシステムが非常に競争力を持つ可能性を示した。