[論文レビュー] Analysis of diversity-accuracy tradeoff in image captioning

Ruotian Luo, Gregory Shakhnarovich|arXiv (Cornell University)|Feb 27, 2020

Multimodal Machine Learning Applications参考文献 34被引用数 11

ひとこと要約

本稿は、最先端のモデルを用いて、画像キャプション生成における多様性と精度のトレードオフを、さまざまなデコード戦略、学習目的、ハイパーパrameterの評価を通じて調査する。低温度のネイティブサンプリングが、多様性と精度の両方を満たすキャプション集合を生成することを発見した一方で、CIDErに基づく強化学習は多様性を損なうことが判明し、デコード調整では回復できない。著者らは、精度を表すSPICEと多様性を表す自己CIDErを組み合わせた新しい指標AllSPICEを提案し、キャプション集合の両方の評価を一括で行えるようにする。

ABSTRACT

We investigate the effect of different model architectures, training objectives, hyperparameter settings and decoding procedures on the diversity of automatically generated image captions. Our results show that 1) simple decoding by naive sampling, coupled with low temperature is a competitive and fast method to produce diverse and accurate caption sets; 2) training with CIDEr-based reward using Reinforcement learning harms the diversity properties of the resulting generator, which cannot be mitigated by manipulating decoding parameters. In addition, we propose a new metric AllSPICE for evaluating both accuracy and diversity of a set of captions by a single value.

研究の動機と目的

• モデルのアーキテクチャ、学習目的、ハイパーパrameter、デコード戦略が生成される画像キャプション集合の多様性と精度に与える影響を体系的に評価すること。
• 複雑なモデル修正を伴わずに、多様性と精度の両方を満たす簡単で効果的な手法を同定すること。
• キャプション集合の精度と多様性を1つのスコアで評価可能な、新しい指標AllSPICEの提案。
• CIDEr最適化モデルが、異なるデコード設定下で交差エントロピー学習モデルと比較して、より良い多様性と精度のバランスを達成できるかを調査すること。
• サンプリング温度やその他のデコードハイパーパrameterが、多様性と精度のトレードオフを制御する上で果たす役割を明確にすること。

提案手法

• ベースジェネレータとして、512ユニットの隠れ層を持つアテンションベースのLSTMモデルを用い、交差エントロピー（XE）、CIDErに基づく強化学習（RL）、両者の組み合わせ（XE+RL）の3つの目的で学習。
• 複数のデコード戦略を採用：ネイティブサンプリング（SP）、top-Kサンプリング、nucleus（top-p）サンプリング、ビームサーチ（BS）、多様性ビームサーチ（DBS）、それぞれ温度とネイティブハイパーパラメータを調整可能。
• AllSPICEを導入。SPICEを基にし、正解との類似性とキャプション間の相違性を測ることで、精度と多様性の両方を統合的に評価する。
• 多様性の測定にはmBLEU、Distinct-1/2、Self-CIDEr、語彙数、%新規文の割合を用い、精度はSPICEとCIDErで測定。
• 多様性と精度のトレードオフに与えるデコードおよびハイパーパラメータ選択の影響を明確にするために、実験全体でモデルパラメータを固定。
• 標準的な分割を用いてCOCOデータセットでモデルを評価し、複数の画像およびキャプション集合に対して指標を報告。

実験結果

リサーチクエスチョン

• RQ1 ネイティブサンプリングに低温度（T=0.5）を適用することで、標準的なビームサーチや他のデコード戦略と比較して、より多様で正確なキャプション集合が得られるか？
• RQ2 最適なデコードハイパーパラメータを用いても、CIDErに基づく強化学習は交差エントロピー学習に比べ、多様性と精度のトレードオフを改善できるか？
• RQ3 低温度サンプリングやtop-pサンプリングなどの異なるデコード手法を用いることで、CIDEr最適化モデルの多様性はどの程度回復可能か？
• RQ4 提案されたAllSPICE指標は、1つの統一スコアでキャプション集合の精度と多様性を効果的に捉えられるか？
• RQ5 サンプリング温度、top-K、nucleusサンプリングの各要因が、キャプション生成における多様性と精度のトレードオフに与える相対的影響は何か？

主な発見

• 低温度（T=0.5）のネイティブサンプリングは、一貫して最も多様なキャプション集合を生成し、高い精度を維持しており、ビームサーチや他のデコード手法を上回る。
• CIDErに基づく強化学習はキャプションの多様性を顕著に低下させ、温度やビームサイズなどのデコードハイパーパラメータの調整ではその悪影響を緩和できない。
• XE+RL学習目的は、XE単体の学習に比べてCIDErスコアは高くなるが、特に多様なサンプリング戦略でデコードした場合、多様性が低下する。
• AllSPICEは精度と多様性の両方を効果的に捉えており、人的判断と強い相関を示し、別個の指標を用いた評価を上回る。
• 中程度の温度（T=0.75）でのtop-Kおよびtop-pサンプリングは、ビームサーチに比べてより多様な出力を生成するが、低温度ネイティブサンプリングほどではない。
• 本研究は、CIDER-RLのような複雑な学習目的よりも、低コストなデコード戦略（例：低温度サンプリング）が、より良い多様性と精度のバランスを達成できることを示している。