[論文レビュー] Non-Autoregressive Image Captioning with Counterfactuals-Critical Multi-Agent Learning

Longteng Guo, Jing Liu+4 more|arXiv (Cornell University)|May 10, 2020

Multimodal Machine Learning Applications参考文献 25被引用数 11

ひとこと要約

本稿では、反事後的・臨界的マルチエージェント学習（CMAL）を用いた非自己回帰的画像キャプション生成モデルを提案する。系列の位置を協力的エージェントとみなして、ポリシー勾配を用いて文単位の報酬を最適化する。エージェント固有の反事後的ベースラインを導入することで、報酬割り当て問題を解決し、13.9倍高速な推論を達成しながら、自己回帰モデルと同等の最先端の性能を実現。さらに、ラベルなし画像を活用することで、精度をさらに向上させた。

ABSTRACT

Most image captioning models are autoregressive, i.e. they generate each word by conditioning on previously generated words, which leads to heavy latency during inference. Recently, non-autoregressive decoding has been proposed in machine translation to speed up the inference time by generating all words in parallel. Typically, these models use the word-level cross-entropy loss to optimize each word independently. However, such a learning process fails to consider the sentence-level consistency, thus resulting in inferior generation quality of these non-autoregressive models. In this paper, we propose a Non-Autoregressive Image Captioning (NAIC) model with a novel training paradigm: Counterfactuals-critical Multi-Agent Learning (CMAL). CMAL formulates NAIC as a multi-agent reinforcement learning system where positions in the target sequence are viewed as agents that learn to cooperatively maximize a sentence-level reward. Besides, we propose to utilize massive unlabeled images to boost captioning performance. Extensive experiments on MSCOCO image captioning benchmark show that our NAIC model achieves a performance comparable to state-of-the-art autoregressive models, while brings 13.9x decoding speedup.

研究の動機と目的

• 非自己回帰的画像キャプションにおけるデコードの不一致を解消すること。これは、文単位の整合性を無視する単語単位の交差エントロピー学習に起因する。
• 系列位置をエージェントとして扱う協力的マルチエージェント強化学習システムとしてNAICを定式化し、生成品質を向上させること。
• エージェント固有の反事後的ベースラインを用いて、複数エージェントの報酬割り当て問題を解決すること。
• 事前学習段階で大規模なラベルなし画像を活用することで、モデル性能を向上させること。
• キャプション品質を損なわず、自己回帰モデルと同等の性能を達成する高速推論を実現すること。

提案手法

• ターゲットキャプション内の各単語位置を、協力的マルチエージェント強化学習フレームワーク内の独立したエージェントとして扱う。
• 文単位の報酬（例：CIDEr）を共有チーム報酬として定義し、全体的なキャプション品質を最適化する。
• 推論中にエージェント間の通信と文脈共有を可能にするために、Transformerデコーダーにおける自己注意機構を用いる。
• エージェント固有の優位性関数を、他のエージェントの行動を固定した状態で、当該エージェントの行動を周辺化した場合の期待報酬として計算する。
• 反事後的優位性を用いたポリシー勾配更新を実行し、各エージェントのポリシーを改善する。この際、ベースラインを上回る行動にのみ注目する。
• 初期化と性能向上のため、微調整の前にクロスエントロピー損失を用いて大規模なラベルなし画像でモデルを事前学習する。

実験結果

リサーチクエスチョン

• RQ1 協力的マルチエージェント強化学習フレームワークは、非自己回帰的画像キャプションにおける文単位の整合性を効果的に改善できるか？
• RQ2 エージェント固有の反事後的ベースラインは、グローバルベースライン（移動平均または自己的批判）を上回るか？特に初期化が悪い状況下でその優位性が顕著か？
• RQ3 事前学習段階でラベルなし画像を活用することで、非自己回帰的キャプションモデルの性能はどの程度向上するか？
• RQ4 提案されたCMAL手法は、自己回帰モデルと同等の性能を達成しながら、著しく高速な推論を実現できるか？
• RQ5 アクションサンプリングにおけるトップ-kサイズといったハイパーパrameterに、CMAL学習はどれほど感度を示すか？

主な発見

• 提案されたCMALモデルは、MSCOCOテストセットでCIDErスコア124.0を達成し、自己回帰モデルと同等の最先端の性能を実現しながら、13.9倍の高速推論を実現した。
• 反事後的ベースライン（CF）は、移動平均（MA）および自己的批判（SC）ベースラインを上回り、特に初期化が悪い状況下でも優れたロバスト性を示した。
• 事前学習段階で10万枚のラベルなし画像を活用した結果、CIDErスコアは124.0から125.5に向上し、自己教師付き事前学習の有効性が裏付けられた。
• アクションサンプリングにおけるトップ-kサイズに、モデルは感受性が低く、k=2でほぼ最適な性能（CIDEr=124.0）を達成した。
• 定性的な結果から、CMALで学習されたモデルは繰り返し単語や不完全な内容を排除し、XEで学習された非自己回帰モデルに比べて、滑らかさと整合性が著しく向上した。
• 訓練目的を文単位の評価指標に一致させることで、デコードの不一致を低減し、CIDEr や BLEU といった微分不可能な評価スコアを直接最適化した。