[論文レビュー] Masked Non-Autoregressive Image Captioning

Junlong Gao, Meng Xi+5 more|arXiv (Cornell University)|Jun 3, 2019

Multimodal Machine Learning Applications参考文献 25被引用数 25

ひとこと要約

本稿では、段階的・構成的かつ複数段階にわたる方法でキャプションを生成する、画像キャプションのためのマスク付き非自己回帰的デコードを提案する。視覚的注目度抽出と反復的言語的精錬を組み合わせることで、自己回帰的および標準の非自己回帰的ベースラインと比較して、推論速度の向上、誤差蓄積の低減、意味的正確性の向上、キャプションの多様性の向上を達成した。

ABSTRACT

Existing captioning models often adopt the encoder-decoder architecture, where the decoder uses autoregressive decoding to generate captions, such that each token is generated sequentially given the preceding generated tokens. However, autoregressive decoding results in issues such as sequential error accumulation, slow generation, improper semantics and lack of diversity. Non-autoregressive decoding has been proposed to tackle slow generation for neural machine translation but suffers from multimodality problem due to the indirect modeling of the target distribution. In this paper, we propose masked non-autoregressive decoding to tackle the issues of both autoregressive decoding and non-autoregressive decoding. In masked non-autoregressive decoding, we mask several kinds of ratios of the input sequences during training, and generate captions parallelly in several stages from a totally masked sequence to a totally non-masked sequence in a compositional manner during inference. Experimentally our proposed model can preserve semantic content more effectively and can generate more diverse captions.

研究の動機と目的

• 自己回帰的画像キャプションにおける逐次的誤差蓄積と遅い推論を解決すること。
• 非自己回帰的デコードにおけるマルチモーダル問題を、より直接的にターゲット分布をモデル化することで克服すること。
• 視覚的生成と言語的生成の段階を分離することで、キャプションの多様性と意味的豊かさを向上させること。
• マスク付き推論プロセスを用いた複数段階のアプローチにより、より高速かつ正確なキャプション生成を可能にすること。

提案手法

• モデルは、学習中に複数のマスク率（例：0.4、0.6、0.8、1.0）でマスクされた入力系列上で訓練されたマスク付き言語モデルを用いる。
• 推論時、モデルは完全にマスクされた系列から始め、段階的にマスク率を低下させながら完全なキャプションを生成する複数段階のプロセスを経る。
• 各段階では、双方向トランスフォーマー・デコーダを用い、視覚的特徴と部分的に生成された系列に基づいてキャプションを精錬する。
• 本手法は構成的生成プロセスを採用する：初期段階では顕著な視覚的コンテンツに注目し、後続段階では言語的構造と意味を精錬する。
• BERTにインspiredなマスク入力戦略を活用することで、真のターゲット分布を間接的だが効果的にモデル化できる。
• 最終的なキャプションは反復的精錬を通じて生成され、各段階で同じエンコーダ・デコーダアーキテクチャを用い、マスク付き入力を用いて前の段階を改善する。

実験結果

リサーチクエスチョン

• RQ1 マスク付き非自己回帰的デコード戦略は、画像キャプションにおける誤差伝搬の低減と推論速度の向上を実現できるか？
• RQ2 段階的・複数マスク率のマスクは、標準の自己回帰的または非自己回帰的手法と比較して、意味的正確性と多様性の向上に寄与するか？
• RQ3 視覚的生成から言語的生成への段階的プロセスは、生成キャプションにおける顕著な視覚的コンテンツの保持に寄与するか？
• RQ4 非自己回帰的設定における間接的監視のもとでも、モデルは真のターゲット分布を効果的にモデル化できるか？

主な発見

• 提案手法は、MS-COCOテストセットでBLEU-4スコア83.86、CIDErスコア91.62を達成し、自己回帰的ベースラインを上回った。
• モデルはより多様なキャプションを生成し、独自キャプションの割合が12.53%、語彙使用率が11.62%に達し、より広い語彙カバレッジを示した。
• 推論の2ラウンド目においても、1ラウンド目の出力を入力として用いることで、性能が各段階で向上したが、追加の1ラウンドのみで顕著な改善が得られた。
• 長めのシーケンス長さはSPスコアの向上を示し、意味的カバレッジの向上を示したが、中程度の長さが構文的・意味的正しさの観点で最適なCDスコアを達成した。
• 学習データからの頻出n-gramへの依存度が低下し、意味的に正確で繰り返しの少ないキャプションが生成された。
• モデルは、マスク付き非自己回帰的デコードがマルチモーダル問題を効果的に緩和でき、より高速かつ正確なキャプション生成を可能にすることを示した。