[論文レビュー] Simple Image Description Generator via a Linear Phrase-Based Approach

Rémi Lebret, Pedro O. Pinheiro+1 more|arXiv (Cornell University)|Dec 29, 2014

Multimodal Machine Learning Applications参考文献 12被引用数 29

ひとこと要約

この論文では、最初に線形マルチモーダル埋め込みを用いて関連する名詞、動詞、前置詞句を予測し、次に制約付き3-gram言語モデルを用いてそれらを結合することで記述を生成する、単純な非再帰的画像キャプション生成モデルを提案する。その単純さにもかかわらず、本手法はCOCOデータセットで競争力のあるBLEUスコアを達成しており、0.70（B-1）、0.46（B-2）、0.30（B-3）、0.20（B-4）を記録し、人間の同意レベルに近く、高い性能を示している。

ABSTRACT

Generating a novel textual description of an image is an interesting problem that connects computer vision and natural language processing. In this paper, we present a simple model that is able to generate descriptive sentences given a sample image. This model has a strong focus on the syntax of the descriptions. We train a purely bilinear model that learns a metric between an image representation (generated from a previously trained Convolutional Neural Network) and phrases that are used to described them. The system is then able to infer phrases from a given image sample. Based on caption syntax statistics, we propose a simple language model that can produce relevant descriptions for a given test image using the phrases inferred. Our approach, which is considerably simpler than state-of-the-art models, achieves comparable results on the recently release Microsoft COCO dataset.

研究の動機と目的

• 複雑な再帰ニューラルネットワークに基づく画像キャプション生成モデルのより単純な代替手法を開発すること。
• フレーズレベルの表現を通じて文法的構造に焦点を当てることで、画像キャプション生成を改善すること。
• 二重線形画像-フレーズ埋め込みと制約付き言語モデルのみを用いて、競争力のある性能を達成すること。
• 非再帰的で線形なアプローチが、より複雑なディープラーニングアーキテクチャを上回るか同等の結果を達成できることを示すこと。

提案手法

• モデルは事前学習済みのCNNを用いて画像特徴を抽出し、二重線形変換を用いてそれらを共有のマルチモーダル空間に投影する。
• フレーズ（名詞、動詞、前置詞）は、Wikipediaの共起統計から学習された単語ベクトルの平均として表現される。
• 線形マルチモーダルモデルは、パラメータUとVを用いた二重線形関数により、画像特徴をフレーズ表現にマップする。
• 推論段階では、画像埋め込みとの類似度に基づいて上位20個の名詞、上位10個の動詞、上位5個の前置詞句が選択される。
• 制約付き3-gram言語モデルが予測されたフレーズを統合して一貫性のある文にし、確率が低い（<0.01）遷移はフィルタリングされる。
• 最終的な文の選択には、画像埋め込みと生成された文のフレーズの平均ベクトルとのドット積が用いられ、関連性に基づいて候補をランク付けする。

実験結果

リサーチクエスチョン

• RQ1 RNNや複雑な系列モデリングを用いずに、非再帰的で線形なモデルが競争力のある画像キャプション生成性能を達成できるか？
• RQ2 二重線形埋め込みを用いたフレーズベースのアプローチは、画像キャプションにおけるマルチモーダル表現学習にどの程度効果的か？
• RQ3 文法的構造と統計的言語モデリングは、再帰的アーキテクチャの欠如をどの程度補うことができるか？
• RQ4 単純なフレーズベースのモデルは、COCOデータセットにおける人間レベルのキャプション同意度にどの程度近づけるか？

主な発見

• モデルはCOCOテストセットでBLEU-1が0.70、BLEU-2が0.46、BLEU-3が0.30、BLEU-4が0.20を達成し、いくつかの先行手法を上回った。
• モデルの性能は人間の同意スコア（0.68 B-1、0.45 B-2、0.30 B-3、0.20 B-4）に非常に近く、高い意味的関連性を示している。
• 制約付き3-gram言語モデルの使用により、生成される文の数が顕著に減少し、意味的に不適切な組み合わせがフィルタリングされた。
• 二重線形マルチモーダル埋め込みモデルは、深層再帰ネットワークのエンドツーエンド学習を必要とせずに、画像-フレーズ関係を効果的に捉えている。
• 最小限のアーキテクチャ的複雑さでさえ、モデルは一貫性があり記述的な文を効果的に生成でき、フレーズレベルの構成と構文に配慮したモデリングの強力さを示している。