[論文レビュー] Phrase-based Image Captioning

Rémi Lebret, Pedro O. Pinheiro+1 more|arXiv (Cornell University)|Feb 12, 2015

Multimodal Machine Learning Applications参考文献 28被引用数 50

ひとこと要約

この論文では、画像特徴量から意味的に関連する名詞句、動詞句、介詞句を二重線形埋め込みを用いて予測し、三重語制約付き言語モデルを介して流暢な文を生成するフレーズベースの画像キャプション生成モデルを提案する。単純であるにもかかわらず、LSTMを用いないにもかかわらず、Flickr30kおよびCOCOで競争力あるBLEUスコアを達成し、再帰的ネットワークを用いないで多様で未知の記述を生成する。

ABSTRACT

Generating a novel textual description of an image is an interesting problem that connects computer vision and natural language processing. In this paper, we present a simple model that is able to generate descriptive sentences given a sample image. This model has a strong focus on the syntax of the descriptions. We train a purely bilinear model that learns a metric between an image representation (generated from a previously trained Convolutional Neural Network) and phrases that are used to described them. The system is then able to infer phrases from a given image sample. Based on caption syntax statistics, we propose a simple language model that can produce relevant descriptions for a given test image using the phrases inferred. Our approach, which is considerably simpler than state-of-the-art models, achieves comparable results in two popular datasets for the task: Flickr30k and the recently proposed Microsoft COCO.

研究の動機と目的

• 画像キャプション生成のための複雑な再帰的ニューラルネットワークモデルのより単純な代替手法を開発すること。
• フレーズレベルの予測を通じて文法的構造に注目することで、文の生成を改善すること。
• 学習済みフレーズを組み合わせることで、訓練データのサンプルを記憶するのではなく、多様で未知の記述を生成すること。
• 事前学習済み単語ベクトルの微調整を通じて、フレーズ表現を視覚的特徴に根拠づけること。
• 標準ベンチマーク（Flickr30kおよびCOCO）を用い、BLEUなどの標準指標で性能を評価すること。

提案手法

• 二重線形モデルは、事前学習済みのCNNから得られる画像特徴量とフレーズ表現（単語ベクトルの平均）の間で共同埋め込み空間を学習する。
• フレーズは、大規模なテキストコーパス（Wikipedia）からの単語ベクトルの平均として表現され、その後視覚データを用いて微調整される。
• 推論時、モデルは学習済みのメトリクスを用いてテスト画像の上位ランクのフレーズを検索する。
• 三重語制約付き言語モデルは、ビームサーチを用いて予測されたフレーズ集合から文法的に妥当な文を生成する。
• 再ランク付けステップでは、学習済みの埋め込み空間において画像に最も近い文を選択することで、精度を向上させる。
• トレーニング中にフレーズ表現を微調整することで、視覚的意味に一致させ、意味的根拠づけを向上させる。

実験結果

リサーチクエスチョン

• RQ1 再帰的ニューラルネットワークを用いないフレーズベースのアプローチが、競争力あるキャプション生成性能を達成できるか？
• RQ2 二重線形モデルが画像とフレーズの間で共有埋め込み空間を学習するのにどの程度効果的か？
• RQ3 三重語制約付き言語モデルが予測されたフレーズから、流暢で多様な文をどの程度効果的に生成できるか？
• RQ4 視覚データを用いたフレーズ表現の微調整が、キャプション品質と意味的正確性を向上させるか？
• RQ5 RNNベースのモデルと比較して、生成されたキャプションの多様性は、訓練データのサンプルの記憶にどの程度依存しているか？

主な発見

• モデルは、Flickr30kおよびCOCOの両方で競争力あるBLEUスコアを達成しており、最先端のRNNベースのモデルと同等の性能を示した。
• Flickr30kでは生成キャプションの1%、COCOでは9.7%が訓練セットに存在しており、強力な一般化能力と多様性を示している。
• 視覚データを用いたフレーズ表現の微調整により、両データセットで約50%の性能向上が見られ、その必要性が強調された。
• 微調整後、'a grey cat'のようなフレーズの近隣は、他の色のネコに変化しており、表現の視覚的根拠づけが示された。
• モデルは、訓練データにない新しい文法的に正しい文を効果的に生成できており、RNNに見られる過学習を回避した。
• 学習済みの画像-フレーズメトリクスに基づく再ランク付けにより、最も意味的に整合性の高い出力を選択することで、最終的な文の品質が向上した。