[論文レビュー] Entity-aware Image Caption Generation

Di Lu, Spencer Whitehead+3 more|arXiv (Cornell University)|Apr 21, 2018

Multimodal Machine Learning Applications参考文献 31被引用数 13

ひとこと要約

本稿では、まずCNN-LSTMモデルを用いてテンプレートキャプションを生成し、その後ハッシュタグと関連メタデータを用いた知識グラフベースの集合的推論によりスロットを特定の固有表現で埋める二段階フレームワークを提案する。このアプローチは、単一モodalなベースラインと比較してキャプションの情報量を顕著に向上させ、文脈的な固有表現を豊富に含むニューススタイルの記述を生成する。

ABSTRACT

Current image captioning approaches generate descriptions which lack specific information, such as named entities that are involved in the images. In this paper we propose a new task which aims to generate informative image captions, given images and hashtags as input. We propose a simple but effective approach to tackle this problem. We first train a convolutional neural networks - long short term memory networks (CNN-LSTM) model to generate a template caption based on the input image. Then we use a knowledge graph based collective inference algorithm to fill in the template with specific named entities retrieved via the hashtags. Experiments on a new benchmark dataset collected from Flickr show that our model generates news-style image descriptions with much richer information. Our model outperforms unimodal baselines significantly with various evaluation metrics.

研究の動機と目的

• 一般的な画像キャプションが特定の固有表現や文脈的情報を欠いているという制限を解消すること。
• ハッシュタグやメタデータといった限られたテキスト入力のみを用いて、情報豊富でニューススタイルの画像記述を生成すること。
• ニューラルキャプションにおけるOOV（語彙外語）問題を、テンプレート生成とエンティティ埋め込みを分離することで克服すること。
• 統一されたフレームワーク内で、高度なキャプション生成およびエンティティリンク手法を柔軟に統合できること。

提案手法

• ニュース画像とテンプレートキャプションのペアを用いて、CNN-LSTMエンコーダデコーダモデルを学習させ、スロットプレースホルダー（例：<Person>、<Organization>）を含む抽象的テンプレートキャプションを生成する。
• 関連するハッシュタグとメタデータ（例：時刻、場所）を用いて、Flickrからトピックに関連する画像を検索する。
• 検索された画像のタイトルに対してエンティティ発見とリンク（EDL）を適用し、固有表現を抽出し、外部知識ベースにリンクして細粒度のタイプを付与する。
• EDLの結果から、頻度が高くタイプに整合性のあるエンティティ候補を、頻度に基づく選択によりテンプレートの各スロットに埋め込む。
• 知識グラフを活用して集合的推論を実施し、スロット間でのエンティティ選択の正確性と一貫性を向上させる。
• フレームワークをモジュール型に設計し、異なるキャプション生成およびエンティティリンクモデルをアーキテクチャの変更なしにプラグアンドプレイで統合可能にする。

実験結果

リサーチクエスチョン

• RQ1 テンプレート生成とエンティティ埋め込みを組み合わせた二段階アプローチは、エンドツーエンドのニューラルキャプションと比較して、より情報豊かな画像キャプションを生成できるか？
• RQ2 ハッシュタグとメタデータは、画像キャプションの文脈的に関連するエンティティを効果的に検索できるか？
• RQ3 リソースが限られた、急発生的な出来事（例：抗議行動、ストライキ）の状況において、知識グラフベースの集合的推論はエンティティ選択の正確性をどの程度向上させるか？
• RQ4 大規模な学習データに依存せずに、情報豊富で文脈的な固有表現を含むニューススタイルのキャプションを生成する能力に、モデルは一般化可能か？

主な発見

• 提案モデルは、単一モダリティベースラインと比較して顕著に情報量の多いキャプションを生成し、固有表現を豊富に含むニューススタイルの記述を生成する。
• 複数の評価指標において、強いベースラインを上回る性能を示し、関連するエンティティを捉える能力に優れている。
• 二段階設計により、多様な文構造の生成という課題と、希少語や語彙外語のエンティティ統合という課題を効果的に分離している。
• ハッシュタグ駆動の検索と知識グラフベースの推論を活用することで、限られたテキスト入力でも効果的なエンティティ選択が可能になる。
• フレームワークは柔軟かつ拡張可能であり、アーキテクチャの変更なしに、高度なキャプション生成およびエンティティリンクモデルの統合が可能である。
• 抗議行動やストライキなどの急発生的出来事においても、『ジュニア医師』や『トーリーズ』といった特定のエンティティが文脈を決定づける重要な役割を果たす状況でも、モデルは頑健に動作する。