[論文レビュー] Deep Reinforcement Learning-based Image Captioning with Embedding Reward

Zhou Ren, Xiaoyu Wang+3 more|arXiv (Cornell University)|Apr 12, 2017

Multimodal Machine Learning Applications参考文献 44被引用数 64

ひとこと要約

本論文は、視覚-semantic embedding を報酬として使用する actor-critic 強化学習で訓練されたポリシー・ネットワークと値・ネットワークを導入し、MS COCO で最先端の画像キャプションを達成する。 decoding 時に局所的なガイダンスと全体的なガイダンスを組み合わせる lookahead 推論も提案する。

ABSTRACT

Image captioning is a challenging problem owing to the complexity in understanding the image content and diverse ways of describing it in natural language. Recent advances in deep neural networks have substantially improved the performance of this task. Most state-of-the-art approaches follow an encoder-decoder framework, which generates captions using a sequential recurrent prediction model. However, in this paper, we introduce a novel decision-making framework for image captioning. We utilize a "policy network" and a "value network" to collaboratively generate captions. The policy network serves as a local guidance by providing the confidence of predicting the next word according to the current state. Additionally, the value network serves as a global and lookahead guidance by evaluating all possible extensions of the current state. In essence, it adjusts the goal of predicting the correct words towards the goal of generating captions similar to the ground truth captions. We train both networks using an actor-critic reinforcement learning model, with a novel reward defined by visual-semantic embedding. Extensive experiments and analyses on the Microsoft COCO dataset show that the proposed framework outperforms state-of-the-art approaches across different evaluation metrics.

研究の動機と目的

• 局所的およびグローバルなガイダンスを伴う意思決定プロセスとして画像キャプション生成を動機づける。
• ポリシー・ネットワークと値・ネットワークを協調してキャプションを生成する。
• 強化学習の報酬として視覚的・意味的埋め込みベースの報酬を定義する。
• アクター・クリティック枠組みを用いて、キャプション-画像の類似性を各指標で最適化するよう訓練する。

提案手法

• 画像キャプション生成を、画像と生成済み語を状態とする逐次決定プロセスとしてモデル化する。
• ポリシー・ネットワーク（CNN + RNN）を用いて次の語を予測し、値・ネットワーク（CNN + RNN + MLP）を用いて未来の報酬を評価する。
• 報酬を、生成キャプションと画像との埋め込み空間における埋め込み類似度として定義する。
• ポリシーをクロスエントロピーで事前訓練し、値を平均二乗誤差で事前訓練した後、アクター・クリティック強化学習によって jointly training する。
• decoding 時には lookahead 推論を導入し、デコーディング中に policy（局所）と value（全体）ガイダンスを組み合わせ、両者をバランスさせる λ を可調に設定する。

実験結果

リサーチクエスチョン

• RQ1 埋め込みベースの報酬は、標準的な教師あり学習を超えて、全ての指標でキャプション品質を向上させるのか。
• RQ2 policy と value の両方を用いる場合、lookahead 推論はデコーディングにどのような影響を与えるのか。
• RQ3 提案フレームワークにおける強化学習は、ベースラインと比べてどの程度の影響を及ぼすのか。
• RQ4 なぜ値ネットワークは独立した視覚的・意味的ストリームで構成され、ポリシーの隠れ状態だけを用いるのではないのか。
• RQ5 λ やビーム幅などのハイパーパラメータに結果がどれだけ敏感か。

主な発見

• 提案手法は、BLEU-1、BLEU-2、BLEU-3、BLEU-4、METEOR、ROUGE-L、CIDEr の全指標で MS COCO における最先端の性能を達成。
• 埋め込み駆動の actor-critic 学習は、外部データを追加せずに全指標で一般化を改善。
• policy と value のガイダンスを組み合わせた lookahead 推論は、標準的なビーム探索やベースラインと比較してキャプション品質を大幅に向上。
• 完全なモデルはほとんどの指標でベースラインを上回り、CIDEr は 0.937 に達成。
• ハイパーパラメータ分析では λ が約 0.4 付近と中程度のビーム幅で最良の結果を示す。
• 値ネットワークのみ・ポリシーのみのバリアントは完全モデルと比べて劣っており、両コンポーネントの必要性を強調。