[論文レビュー] Towards Diverse and Accurate Image Captions via Reinforcing Determinantal Point Process

Qingzhong Wang, Antoni B. Chan|arXiv (Cornell University)|Aug 14, 2019

Multimodal Machine Learning Applications参考文献 29被引用数 7

ひとこと要約

本稿では、強化学習と決定的ポイントプロセス（DPP）を統合することで、多様で正確な画像キャプションを生成する新しい手法であるR-DPP（Reinforcing Determinantal Point Process）を提案する。CIDEr（品質）とキャプション間の多様性（コサイン類似度）をバランスさせるDPPベースの指標を最大化することで、ベースラインの強化学習モデルに比べ、多様性と正確性の両方を向上させ、オラクルテストセットにおいて最先端の性能を達成するとともに、高品質なビームサーチ出力を可能にする。

ABSTRACT

Although significant progress has been made in the field of automatic image captioning, it is still a challenging task. Previous works normally pay much attention to improving the quality of the generated captions but ignore the diversity of captions. In this paper, we combine determinantal point process (DPP) and reinforcement learning (RL) and propose a novel reinforcing DPP (R-DPP) approach to generate a set of captions with high quality and diversity for an image. We show that R-DPP performs better on accuracy and diversity than using noise as a control signal (GANs, VAEs). Moreover, R-DPP is able to preserve the modes of the learned distribution. Hence, beam search algorithm can be applied to generate a single accurate caption, which performs better than other RL-based models.

研究の動機と目的

• 強化学習ベースの画像キャプションモデルにおいて、CIDErなどの品質指標に注力するあまり、キャプションのバリエーションが不足する問題に対処すること。
• 補助的なノイズや制御信号に依存せずに、キャプションの品質とキャプション間の多様性を同時に最適化する統一された学習目的を構築すること。
• 正解キャプション分布のモードを保持することで、ビームサーチにより高品質な単一キャプションを生成できるようにすること。
• 特にオラクル評価設定下でも、既存の多様キャプション生成手法に比べ、多様性と正確性の両面で優れるようにすること。

提案手法

• CIDErスコア（品質）とキャプション間のコサイン類似度（多様性）を統合した新しいDPPベースの指標を提案し、品質と多様性を1つの行列式の行列式として統合する。
• 正定値行列Lによって品質と多様性をモデル化するLアンサンブル行列の行列式を最大化する強化学習フレームワークを用いる。
• ポリシー勾配を用いてエンドツーエンドに学習可能な微分可能なDPP推論機構を採用する。
• 学習中にサンプリングするキャプション数を制御するハイパーパrameter mを導入し、多様性と正確性のトレードオフを制御する。
• R-DPPモデルにビームサーチを適用し、分布のモードを保持する能力を活かして高品質な単一キャプションを生成する。
• CIDErを報酬として用いるポリシー勾配強化学習でモデルを学習するが、DPP部により行列式最大化によって多様性が保証される。

実験結果

リサーチクエスチョン

• RQ1 ノイズや補助制御信号に依存せずに、品質と多様性を同時に最適化する強化学習フレームワークを設計可能か？
• RQ2 DPP構造を持つ行列式の行列式を最大化することは、標準的なRLベースラインに比べ、より優れたキャプションの多様性と正確性をもたらすか？
• RQ3 R-DPPモデルは正解キャプション分布のモードを保持できるか。その結果、ビームサーチにより優れた単一キャプションを生成できるか？
• RQ4 学習時にサンプリングするキャプション数（m）を変更すると、最終出力における多様性と正確性のバランスにどのような影響を与えるか？
• RQ5 R-DPPは、標準的およびオラクル評価ベンチマークの両方で、最先端の多様キャプション生成手法を上回るか？

主な発見

• m=5（20個のキャプションをサンプリング）の条件下で、オラクルテストでCIDErスコア1.700を達成し、Xe+20CIDErやSCSTを含むすべての比較手法を上回った。
• m=5のとき、20個のキャプションをサンプリングした結果、CIDErスコア0.527、多様性スコア0.405を達成。SCST（CIDEr: 1.114）やXE+λCIDErに比べ、正確性を大幅に上回りつつ高い多様性を維持した。
• m=2のとき、SCSTに比べ多様性スコアを約0.2から約0.4へと2倍に向上させ、CIDErも1.114から1.222に向上させた。
• ビームサーチによる高品質なキャプション生成を維持しており、CIDEr 1.222の単一キャプションを生成。これはベースラインのAtt2in-XEやSCSTモデルを上回る。
• mを2から5に増加させると、オラクルテストでのCIDErは1.563から1.700に向上したが、さらにmを7に増加させるとわずかな性能低下が観察され、最適なmは約5であると示唆された。
• XE+λCIDErと同等の多様性を達成したが、はるかに高い正確性を示し、品質と多様性のバランスに優れた性能を示した。