[論文レビュー] Stack-Captioning: Coarse-to-Fine Learning for Image Captioning

Jiuxiang Gu, Jianfei Cai+2 more|arXiv (Cornell University)|Sep 11, 2017

Multimodal Machine Learning Applications被引用数 59

ひとこと要約

粗さから細さへのマルチステージキャプション生成フレームワークを提案し、中間監督と強化学習で評価指標を最適化。MSCOCOで最先端の結果を達成。

ABSTRACT

The existing image captioning approaches typically train a one-stage sentence decoder, which is difficult to generate rich fine-grained descriptions. On the other hand, multi-stage image caption model is hard to train due to the vanishing gradient problem. In this paper, we propose a coarse-to-fine multi-stage prediction framework for image captioning, composed of multiple decoders each of which operates on the output of the previous stage, producing increasingly refined image descriptions. Our proposed learning approach addresses the difficulty of vanishing gradients during training by providing a learning objective function that enforces intermediate supervisions. Particularly, we optimize our model with a reinforcement learning approach which utilizes the output of each intermediate decoder's test-time inference algorithm as well as the output of its preceding decoder to normalize the rewards, which simultaneously solves the well-known exposure bias problem and the loss-evaluation mismatch problem. We extensively evaluate the proposed approach on MSCOCO and show that our approach can achieve the state-of-the-art performance.

研究の動機と目的

• ワンステージデコーダーで、豊かで細かなキャプションを生成する難しさに対処する。
• 中間監督を強制して深いマルチステージキャプショニングにおける勾配消失を緩和する。
• 正規化された中間報酬を用いた強化学習目的関数を通じて、露出バイアスと損失評価の不一致を低減する。
• 段階的に視覚領域を洗練させるために、スタックドアテンションを活用して語の予測を改善する。
• ベースラインおよび既存手法と比較してMSCOCOで最先端の性能を示す。

提案手法

• 粗→細のエンコーダ-デコーダアーキテクチャを構築し、1つの粗いデコーダに続いて複数の細いデコーダを配置する。
• 各ステージが前のステージからのアテンション重みと隠れ状態を受け取り、予測を洗練させるスタックドアテンション機構を用いる。
• 各ステージでクロスエントロピー損失を用いて中間監督を提供し、その後ステージごとの報酬を用いた強化学習目的で最適化する。
• 露出バイアスと損失評価の不一致に対処するために、各ステージのテスト時推論出力と前段の出力の両方を組み込んだ報酬正規化戦略を定義する。
• グローバルな画像特徴上で動作する粗デコーダ(LSTMcoarse)を実装し、空間的な画像領域に注意を向ける細デコーダ(LSTMi fine)を用いる; 視覚的ノイズを段階的に除去するためにスタックドアテンションモデルを採用する。

実験結果

リサーチクエスチョン

• RQ1 粗→細のマルチステージキャプション生成フレームワークは、従来のワンステージデコーダーよりも生成される説明の豊かさを向上させることができるか。
• RQ2 中間監督は深いマルチステージキャプショニングモデルにおける勾配消失の問題を緩和するか。
• RQ3 正規化された中間報酬を用いた強化学習は、多段キャプショニングにおける露出バイアスと評価指標の整合性の問題を解決できるか。
• RQ4 段階をまたぐスタックドアテンションは、語生成のためのより正確で記述的なアテンションマップを生み出すか。

主な発見

• Stack-Cap (C2F) は、クロスエントロピーと CIDEr-最適化 RL で訓練した場合、MSCOCO Karpathy テスト分割の生成指標全般で最高の性能を達成する。例: BLEU-1 78.6, BLEU-2 62.5, BLEU-3 47.9, BLEU-4 36.1, METEOR 27.4, CIDEr 120.4.
• Stack-Cap (XE) は、LSTM、LSTM3レイヤ、アテンションベースモデルなどのベースラインを複数の指標で上回り、中間監督を伴う coarse-to-fine 学習の利点を示している。
• CIDErをRLで直接最適化する（SCST）によって、Stack-Cap の結果がさらに改善され、CIDEr 120.4 を他の手法と比較して達成。
• オンラインMSCOCO評価は、Stack-Capが最先端のアンサンブルと比較して競争力のある単一モデルの性能を提供することを示している。
• 定性的分析では、アテンションマップとキャプションがステージを重ねるごとにより正確で記述的になること、例としてオブジェクトや関係性を洗練されたアテンションで特定する。