[論文レビュー] Image Captioning via Compact Bidirectional Architecture

Song, Zijie, Yuanen Zhou+5 more|arXiv (Cornell University)|Jan 6, 2022

Multimodal Machine Learning Applications被引用数 14

ひとこと要約

本稿では、1つの並列化可能なデコーダー内で左右両方向のキャプション生成を同時に学習する、画像キャプション用のコンact Bidirectional Transformer (CBTIC) を提案する。左右両方向の流れを密に結合し、モデル出力のランク付けによる文単位のアンサンブルを可能にすることで、視覚言語事前学習を用いない状態でもMSCOCOで最先端の性能を達成し、従来の非事前学習モデルよりも最高でCIDErスコア4.6%の向上を達成した。

ABSTRACT

Most current image captioning models typically generate captions from left-to-right. This unidirectional property makes them can only leverage past context but not future context. Though refinement-based models can exploit both past and future context by generating a new caption in the second stage based on pre-retrieved or pre-generated captions in the first stage, the decoder of these models generally consists of two networks~(i.e. a retriever or captioner in the first stage and a captioner in the second stage), which can only be executed sequentially. In this paper, we introduce a Compact Bidirectional Transformer model for image captioning that can leverage bidirectional context implicitly and explicitly while the decoder can be executed parallelly. Specifically, it is implemented by tightly coupling left-to-right(L2R) and right-to-left(R2L) flows into a single compact model to serve as a regularization for implicitly exploiting bidirectional context and optionally allowing explicit interaction of the bidirectional flows, while the final caption is chosen from either L2R or R2L flow in a sentence-level ensemble manner. We conduct extensive ablation studies on MSCOCO benchmark and find that the compact bidirectional architecture and the sentence-level ensemble play more important roles than the explicit interaction mechanism. By combining with word-level ensemble seamlessly, the effect of sentence-level ensemble is further enlarged. We further extend the conventional one-flow self-critical training to the two-flows version under this architecture and achieve new state-of-the-art results in comparison with non-vision-language-pretraining models. Finally, we verify the generality of this compact bidirectional architecture by extending it to LSTM backbone. Source code is available at https://github.com/YuanEZhou/cbtic.

研究の動機と目的

• 生成中に過去の文脈しか参照できない一方向キャプションモデルの制限を解消すること。
• 1つの並列化可能なデコーダー構造で双方向の文脈モデリングを可能にし、キャプション品質を向上させること。
• リファインメントベースのモデルが有する逐次的依存関係を解消し、左から右および右から左の流れを1つのコンactモデルに統合すること。
• 2つの別々のモデルを訓練する必要なく、推論効率と性能を向上させる文単位のアンサンブルを実現すること。
• 自己強化学習を2フロー構造に拡張し、エンドツーエンド最適化を可能にすること。

提案手法

• モデルは、共有パラメータを持つ1つのトランスフォーマー・デコーダーを用い、同時に左から右（L2R）および右から左（R2L）のキャプション生成フローをサポートする。
• 訓練段階では、各画像に対して、<l2r>プレフィックスを付加したL2Rのキャプションと、 <r2l>プレフィックスを付加したR2Lのキャプションをペアで用意し、統合損失関数を用いて同時に学習する。
• デコーディング段階で、L2RとR2Lのフロー間の明示的相互作用を、クロスアテンション機構を介してオプションで有効化可能である。
• 推論段階では、L2RおよびR2Lの出力を並列に生成し、文単位のアンサンブルにより確率がより高い出力を選択する。
• 複数のモデルインスタンスからの確率分布を平均化することで、単語単位のアンサンブルを統合する。
• 自己強化学習を2フロー設定に拡張し、L2RおよびR2Lの両出力を利用してCIDErスコアを最適化する。

実験結果

リサーチクエスチョン

• RQ1 コンactで1つのモデルアーキテクチャが、画像キャプションにおいて過去と未来の両方の文脈を効果的に活用できるか。
• RQ2 2つの別々のモデルを訓練せず、L2RおよびR2L出力のランク付けによる文単位のアンサンブルが、性能向上を実現できるか。
• RQ3 共有パラメータによる暗黙の文脈モデリングと比較して、明示的な双方向フロー間の相互作用はどのように効果を示すか。
• RQ4 提案された2フロー自己強化学習は、従来の1フロー訓練よりも優れた性能を達成できるか。
• RQ5 コンactなアーキテクチャが、双方向文脈学習において正則化子として機能する程度はどの程度か。

主な発見

• コンactな双方向アーキテクチャは、暗黙的に双方向文脈を活用する有効な正則化子として機能し、明示的相互作用機構を上回る性能を示した。
• L2RおよびR2L出力のランク付けによる文単位のアンサンブルは、2つの別々のモデルを訓練するのと同等の性能を達成し、追加の推論コストを発生させない。
• MSCOCO Karpathyテストスプリットでは、アンサンブル設定でCIDErスコア40.0を達成し、すべての非事前学習モデルを上回った。
• 公式テストサーバーにおいて、c5およびc40のリファレンスを用いた場合、最高の競合モデル（RSTNet）と比較して、CIDErスコアをそれぞれ4.1%および4.6%向上させた。
• CIDErスコアの向上にもかかわらず、R2Lフローは「ボールを蹴っている男の写真」といった悪くない終わり方（例：'of a man with a soccer ball on a field'）を生成する傾向を示し、BLEUスコアを38.9から38.0にわずかに低下させた。
• 単語単位のアンサンブルと文単位のアンサンブルを組み合わせることで、性能向上がさらに強化され、両方のアンサンブル戦略が直交的であることが示された。