[論文レビュー] Image Captioning Based on a Hierarchical Attention Mechanism and Policy Gradient Optimization

Shiyang Yan, Yuan Xie+4 more|arXiv (Cornell University)|Nov 13, 2018

Multimodal Machine Learning Applications参考文献 65被引用数 7

ひとこと要約

本稿では、事前学習済みのCNNによるグローバルな特徴とFaster R-CNNによるローカルなオブジェクト特徴を統合する階層的アテンション機構を提案し、GANとポリシー勾配強化学習フレームワークを組み合わせることで、画像キャプション生成の性能を向上させる。本手法は、グリーディデコードのみを用いてMSCOCOで最先端の性能を達成し、文の整合性と画像の整合性を明示的に最適化することで、BLEU-1、METEOR、ROUGE-Lの各指標において先行手法を上回った。

ABSTRACT

Automatically generating the descriptions of an image, i.e., image captioning, is an important and fundamental topic in artificial intelligence, which bridges the gap between computer vision and natural language processing. Based on the successful deep learning models, especially the CNN model and Long Short-Term Memories (LSTMs) with attention mechanism, we propose a hierarchical attention model by utilizing both of the global CNN features and the local object features for more effective feature representation and reasoning in image captioning. The generative adversarial network (GAN), together with a reinforcement learning (RL) algorithm, is applied to solve the exposure bias problem in RNN-based supervised training for language problems. In addition, through the automatic measurement of the consistency between the generated caption and the image content by the discriminator in the GAN framework and RL optimization, we make the finally generated sentences more accurate and natural. Comprehensive experiments show the improved performance of the hierarchical attention mechanism and the effectiveness of our RL-based optimization method. Our model achieves state-of-the-art results on several important metrics in the MSCOCO dataset, using only greedy inference.

研究の動機と目的

• 画像キャプション生成において、グローバルな画像特徴が細分化された視覚的詳細を十分に捉えられていないという限界を解消すること。
• RNNベースの最尤推定訓練における露出バイアスを、強化学習の統合によって克服すること。
• 敵対的訓練により、生成された文を画像の内容により密接に一致させることで、キャプションの品質を向上させること。
• ビームサーチや外部知識といった複雑な推論戦略に依存せずに、最先端の性能を達成すること。

提案手法

• 事前学習済みのCNNから得られるグローバル画像特徴と、Faster R-CNNの検出結果から得られるローカルオブジェクト特徴を併用する階層的アテンション機構を導入する。
• 生成過程において関連する画像領域に動的に注目できるように、グローバル特徴およびローカル特徴の両方に視覚的アテンションを適用する。
• 生成されたキャプションと画像の内容の整合性を評価するディスクラミネーターを用いた条件付きGANフレームワークを採用する。
• ディスクラミネーターから得られる報酬信号を用いてポリシー勾配最適化を実行し、言語の離散的性質にもかかわらずエンドツーエンドの学習を可能にする。
• 3段階の訓練戦略を採用する：まず画像エンコーダーとオブジェクト検出器を事前学習し、次にMLEでキャプションモデルを学習し、最後にRLでファインチューニングを行う。
• ディスクラミネーターのフィードバックを密度報酬信号として活用し、より正確で自然なキャプションを生成するためのポリシーネットワークを最適化する。

実験結果

リサーチクエスチョン

• RQ1 階層的アテンション機構を用いてグローバルおよびローカルな視覚的特徴を統合することで、画像キャプション生成の性能が向上するか？
• RQ2 ポリシー勾配最適化と組み合わせたGANの統合により、MLEベースの学習と比較して露出バイアスが軽減され、キャプション品質が向上するか？
• RQ3 キャプションと画像の整合性を評価するように訓練されたディスクラミネーターが、RLベースのキャプション生成のための有効な報酬信号として機能するか？
• RQ4 本手法は、ビームサーチや外部知識を一切使用せずに、グリーディデコードのみでどれほど最先端の結果を達成できるか？

主な発見

• 提案モデルは、MSCOCOのKarpathyテストスプリットで最先端の結果を達成し、BLEU-1（73.036）、METEOR（53.688）、ROUGE-L（39.069）の各指標において、先行手法を上回った。
• 定性的な分析において、MLEベースのベースラインと比較して顕著に優れた性能を示し、性別のような細分化された属性を捉える能力が向上した。
• 階層的アテンション機構により、生成された語の意味的コンテンツと整合するように、関連する画像領域をより適切に局所化できるようになった。
• ディスクラミネーターに基づく報酬信号は、外部知識やビームサーチを用いなくても、より整合性があり画像に整合したキャプションを生成するためのポリシーネットワークを効果的にガイドした。
• 外部知識やビームサーチを一切使用しないにもかかわらず、現在のSOTA手法（Embedding Reward [67]）と同等の性能を達成し、訓練手順の有効性を示した。