[論文レビュー] Fast, Diverse and Accurate Image Captioning Guided By Part-of-Speech

Aditya Deshpande, Jyoti Aneja+3 more|arXiv (Cornell University)|May 31, 2018

Multimodal Machine Learning Applications参考文献 34被引用数 13

ひとこと要約

本稿では、画像の高レベルな要約としての量子化済み品詞（POS）タグ列を条件として用いる、高速で正確かつ多様性に富んだ画像キャプション生成手法を提案する。画像から多様なPOS列を予測し、それぞれのPOS列を条件としてキャプションを生成することで、ビームサーチ、ダイバースビームサーチ、VAE、GANと比較して、精度、速度、多様性の面で優れた性能を達成する。

ABSTRACT

Image captioning is an ambiguous problem, with many suitable captions for an image. To address ambiguity, beam search is the de facto method for sampling multiple captions. However, beam search is computationally expensive and known to produce generic captions. To address this concern, some variational auto-encoder (VAE) and generative adversarial net (GAN) based methods have been proposed. Though diverse, GAN and VAE are less accurate. In this paper, we first predict a meaningful summary of the image, then generate the caption based on that summary. We use part-of-speech as summaries, since our summary should drive caption generation. We achieve the trifecta: (1) High accuracy for the diverse captions as evaluated by standard captioning metrics and user studies; (2) Faster computation of diverse captions compared to beam search and diverse beam search; and (3) High diversity as evaluated by counting novel sentences, distinct n-grams and mutual overlap (i.e., mBleu-4) scores.

研究の動機と目的

• 画像記述における固有の曖昧性を考慮し、多様で正確かつ計算効率の良い画像キャプションを生成する課題に対処すること。
• 遅く、一般的で多様性に欠けるキャプションを生成するビームサーチの限界を克服すること。
• 解釈不能な潜在空間を犠牲にして多様性を追求するVAEおよびGANベースの手法の限界を改善すること。
• 意味的かつ解釈可能な画像要約（POS列）を活用して、多様で正確なキャプション生成をガイドするキャプション生成システムを開発すること。

提案手法

• 畳み込みニューラルネットワークを用いて画像特徴を抽出し、画像の高レベルな要約として量子化済み品詞（POS）タグ列を予測する。
• 各予測されたPOS列を条件としてキャプション生成ネットワークを操作し、要約が示唆する文法的構造に適合したキャプションを生成する。
• 畳み込みニューラルネットワークベースの言語デコーダーを用いて、単語単位でキャプションを生成し、各POS要約ごとに狭いビーム幅でのビームサーチを適用することで、高速性を確保する。
• 共同学習中にGumbel-Softmaxサンプリングを用いることで、POS予測ヘッドの微分可能学習を可能にしつつ、推論時にはargmaxを用いることで高速性を維持する。
• POSタグの解釈可能性を活用して、例えば特定の位置により多くの形容詞や名詞を強制するなど、非構造的潜在変数に依存せずにキャプションの多様性をガイドする。
• 画像からPOSへの変換とPOSからキャプションへの生成の両方を統合的に最適化できる、エンドツーエンドで学習可能なフレームワークとして、キャプションモデルとPOS予測器を統合する。

実験結果

リサーチクエスチョン

• RQ1 品詞タグ列は、多様で正確な画像キャプション生成をガイドする有効かつ解釈可能な要約として機能するか？
• RQ2 複数のPOS列を条件としてキャプション生成することで、ビームサーチおよびダイバースビームサーチと比較して、より高いキャプションの多様性が得られるか？
• RQ3 POSガイドド手法は、VAEおよびGANベースの手法よりも高い精度を維持しながら、より高速な推論速度を達成できるか？
• RQ4 ユーザー評価およびCIDEr、Spice、mBleu-4といった標準評価指標において、POSベースのキャプションは既存手法をどの程度上回るか？

主な発見

• POSベースの手法は、高精度、高速推論、高多様性の三拍線を達成し、ビームサーチ、ダイバースビームサーチ、AG-CVAE、GANベース手法を上回る。
• COCOテストセットにおいて、POSベースのキャプションは4-gramオーバーラップがゼロの文を10.94%生成した（mBleu-4 = 0）。これは、ダイバースビームサーチ（1.02%）およびビームサーチ（2.4%）を著しく上回る。
• ビームサーチおよびダイバースビームサーチと比較して5倍高速であり、VAEおよびGANベース手法と同等の時間計算量を有する。
• POSベースのキャプションは、CIDErおよびSpice指標において、AG-CVAEより高いベスト1およびベスト10の精度スコアを達成しており、優れたキャプション品質を示している。
• 123名の参加者を対象としたユーザー評価では、POS生成キャプションがビームサーチキャプションよりも68.3%、AG-CVAEキャプションよりも62.1%の比較で好まれた。
• 1画像あたり20文のキャプションにおいて、POS手法は96.3%がユニーク（19.26文のユニーク文）であり、共同学習時において100文中91.55文がユニークであった。また、全ベースラインより高い新規文および一意n-gramの多様性を達成した。