[論文レビュー] Transform and Tell: Entity-Aware News Image Captioning

Alasdair Tran, A. P. Mathews+1 more|arXiv (Cornell University)|Apr 17, 2020

Multimodal Machine Learning Applications参考文献 43被引用数 8

ひとこと要約

本論文は、テキスト、画像、顔、オブジェクトのマルチモーダルアテンションを統合し、バイトペア符号化（BPE）に基づくトランスフォーマー・デコーダーを備えたエンドツーエンドでエンティティに配慮したニュース画像キャプション生成モデルを提案する。このモデルは、GoodNewsデータセットにおいてCIDErスコアを4.1倍改善（13.1→53.8）し、793K枚の画像と画像位置のアノテーションを備えた、これまでで最大のニュース画像キャプションデータセットであるNYTimes800kを新たに導入した。

ABSTRACT

We propose an end-to-end model which generates captions for images embedded in news articles. News images present two key challenges: they rely on real-world knowledge, especially about named entities; and they typically have linguistically rich captions that include uncommon words. We address the first challenge by associating words in the caption with faces and objects in the image, via a multi-modal, multi-head attention mechanism. We tackle the second challenge with a state-of-the-art transformer language model that uses byte-pair-encoding to generate captions as a sequence of word parts. On the GoodNews dataset, our model outperforms the previous state of the art by a factor of four in CIDEr score (13 to 54). This performance gain comes from a unique combination of language models, word representation, image embeddings, face embeddings, object embeddings, and improvements in neural network design. We also introduce the NYTimes800k dataset which is 70% larger than GoodNews, has higher article quality, and includes the locations of images within articles as an additional contextual cue.

研究の動機と目的

• 既存の画像キャプション生成モデルが現実世界の知識や言語的表現力を十分に扱えないという限界を解消すること。
• 名前や新興概念など、希少かつ未学習の固有名詞を含む言語的に豊かなキャプションを生成すること。
• 記事本文、画像コンテンツ、顔、オブジェクトからの文脈情報をマルチモーダルアテンションで統合することで、キャプション品質を向上させること。
• 長期的な言語的進化と文脈理解を支援する、スケーラブルで高品質なニュース画像キャプションデータセットの開発。
• 動的畳み込みと適応的ソフトマックスを用いたエンドツーエンド学習が、テンプレートベースや抽出型手法を上回ることを実証すること。

提案手法

• モデルは、記事本文を処理し、文脈的なトークン埋め込みを生成するためにRoBERTaベースのエンコーダーを用いる。
• 画像、顔、オブジェクトの特徴は、ビジョントランスフォーマーとオブジェクト検出モデルを用いて抽出され、それぞれのモダリティごとに別々の埋め込みが得られる。
• マルチヘッドアテンション機構により、デコーダーはキャプション生成中に、画像パッチ、記事本文、検出された顔、オブジェクトを同時に注目できる。
• デコーダーは、自己注意を置き換えるために、生成済みトークンに効率的に注目する動的畳み込みを採用し、自己回帰的生成を実現する。
• 語彙を表現するためにバイトペア符号化（BPE）が用いられ、固定語彙を必要としないため、希少または未学習の語を生成可能となる。
• 語彙の頻度に応じてクラスタリングすることで、最終層に適応的ソフトマックスを適用し、学習効率を向上させる。

実験結果

リサーチクエスチョン

• RQ1 テキスト、画像、顔、オブジェクトを同時に注目するマルチモーダルアテンション機構は、ニュース画像におけるエンティティに配慮したキャプション生成を顕著に改善できるか？
• RQ2 動的畳み込みを備えたBPEベースの言語モデルは、言語的多様性を向上させるとともに、希少または未学習の固有名詞を効果的に処理できるか？
• RQ3 記事内での画像位置を文脈的ヒントとして組み込むと、キャプション生成のパフォーマンスにどのような影響を与えるか？
• RQ4 BPE、動的畳み込み、マルチモーダルアテンション、適応的ソフトマックスといった各コンポonentが、全体のキャプション生成パフォーマンスに果たす寄与度はどの程度か？
• RQ5 NYTimes800kのような大規模かつ高品質なニュース画像キャプションデータセットは、より良い一般化性能と長期的な言語的適応を可能にするか？

主な発見

• 本モデルは、前回の最先端手法と比較して、GoodNewsデータセットにおけるCIDErスコアを4.1倍改善（13.1→53.8）した。
• BLEU-4スコアは6.8倍向上（0.89→6.05）し、人間の基準キャプションとのn-gram一致度が顕著に向上した。
• 本モデルは平均15語のキャプションを生成し、人間のキャプション（平均18語）に近づいたのに対し、前回の最先端手法（平均10語）よりも著しく長くなった。
• 訓練中に見つけていなかった固有名や希少な固有名詞を効果的に生成できており、未学習語彙への一般化能力が優れていることが示された。
• アブレーションスタディにより、マルチモーダルアテンション、BPE、動的畳み込み、適応的ソフトマックスの各コンポーネントが、性能向上に有意義に寄与していることが確認された。
• GoodNewsより70%大きなNYTimes800kデータセットは、画像位置のヒントを含んでおり、すべての指標で一貫した性能向上を実現した。