[論文レビュー] Visual News: Benchmark and Challenges in News Image Captioning

Fuxiao Liu, Yinghan Wang+2 more|arXiv (Cornell University)|Oct 8, 2020

Multimodal Machine Learning Applications参考文献 29被引用数 5

ひとこと要約

本稿では、100万枚を超えるニュース画像と関連する記事、キャプション、メタデータを備えた大規模なベンチマーク「Visual News」を紹介するとともに、名前付きエンティティに注目したアテンション機構を用いた、視覚的およびテキスト的特徴を統合するエンティティ認識型のトランスフォーマー基盤モデル「Visual News Captioner」を提案する。このモデルは、視覚的およびテキスト的特徴をアテンションメカニズムを介して融合することで、ニュース画像のキャプション生成を向上させる。モデルはパrameter数を少なく抑えながらも、複数の指標で最先端の性能を達成し、Visual Newsデータセットにおいて50.5のCIDErスコアを記録した。

ABSTRACT

We propose Visual News Captioner, an entity-aware model for the task of news image captioning. We also introduce Visual News, a large-scale benchmark consisting of more than one million news images along with associated news articles, image captions, author information, and other metadata. Unlike the standard image captioning task, news images depict situations where people, locations, and events are of paramount importance. Our proposed method can effectively combine visual and textual features to generate captions with richer information such as events and entities. More specifically, built upon the Transformer architecture, our model is further equipped with novel multi-modal feature fusion techniques and attention mechanisms, which are designed to generate named entities more accurately. Our method utilizes much fewer parameters while achieving slightly better prediction results than competing methods. Our larger and more diverse Visual News dataset further highlights the remaining challenges in captioning news images.

研究の動機と目的

• ニュース画像キャプションの分野において、大規模で多様性に富み、豊富なアノテーションが付与されたデータセットが不足しているという問題に対処すること。
• 視覚的およびテキスト的特徴を効果的に統合するキャプション生成モデルの開発、特に名前付きエンティティとイベントレベルの文脈に焦点を当てる。
• アウトオブボキャブラリー（OOV）エンティティや長尾語彙の問題を含む、ニュース画像に対する正確なキャプション生成の課題を克服すること。
• エンドツーエンドおよびテンプレートベースのアプローチをベンチマーク化し、二段階処理手法が文脈の豊かさを保つことの制限を明らかにすること。
• ニュース画像キャプションおよび関連NLPタスクの研究を前進させるために、公開可能なデータセットとコードベースを提供すること。

提案手法

• 名前付きエンティティの注目を強化するために、マルチヘッドアテンションを用いたアテンション・オン・アテンション（AoA）を導入したトランスフォーマー・アーキテクチャを採用。
• ニューステキスト内の語の順序的および関係的構造をモデル化するための、新規の相対的位置エンコーディング手法を提案。
• 視覚的およびテキスト的特徴の関連する部分にのみ注目することで、共同マルチモーダル埋め込みを学習する「ビジュアル選択層（Visual Selective Layer）」を提案。
• 稀な名前付きエンティティやOOVエンティティに対応するために、ポインタジェネレーターデコーダーを採用し、長尾エンティティのカバー率を向上。
• 予測の精練と、とりわけ珍しい名前付きエンティティの正確性向上を目的として、タグクリーニングという後処理ステップを適用。
• 画像パッチと語トークンの両方に同時に注目するアテンションを実装し、エンティティガイドドアテンションにより、特定の人物、場所、組織の生成を強化。

実験結果

リサーチクエスチョン

• RQ1 エンドツーエンドのキャプション生成モデルとテンプレートベース手法の間で、ニュース画像キャプションの分野における性能にどのような差が生じるか？
• RQ2 名前付きエンティティとイベントレベルの文脈は、ニュース画像キャプションの品質向上にどの程度寄与するか？
• RQ3 軽量でエンティティ認識型のモデルは、よりパrameter数が多く、大規模なモデルを上回る性能を達成できるか？
• RQ4 視覚的およびテキスト的アテンションを通じたマルチモーダル特徴統合は、名前付きエンティティ生成の正確性にどのような影響を与えるか？
• RQ5 タグクリーニングのような後処理は、ニュースキャプションにおける希少またはOOV名前付きエンティティの取り扱いにどのような影響を与えるか？

主な発見

• Visual News Captionerは、Visual NewsデータセットにおいてCIDErスコア50.5を達成し、次に優れた手法を著しく上回った。
• GoodNewsおよびNYTimes800kデータセットで評価された6つの指標すべてにおいて、最先端の手法を上回った。
• エンティティガイド（EG）コンポーネントは、すべてのデータセットでキャプション生成性能を向上させ、名前付きエンティティの文脈が生成プロセスにおいて価値を持つことを示した。
• ビジュアル選択層は、視覚的およびテキスト的特徴間の整合性を強化することで、性能向上に寄与した。
• タグクリーニング（TC）ステップは、Visual NewsデータセットでCIDErスコアを1.3%向上させ、希少エンティティの処理における有効性を示した。
• パrameter数を少なくしたにもかかわらず、Visual News Captionerは、トランスフォーマー基盤のTransform and Tellモデルを上回る性能を示し、その効率性と有効性を裏付けた。