[論文レビュー] X-Linear Attention Networks for Image Captioning

Yingwei Pan, Ting Yao+2 more|arXiv (Cornell University)|Mar 31, 2020

Multimodal Machine Learning Applications参考文献 41被引用数 8

ひとこと要約

本論文では、視覚的特徴と言語的特徴の間の空間的およびチャネルワイドな二重線形プーリングを用いて、2次元の特徴相互作用をモデル化する、X-Linear Attention Networks (X-LAN) という新しい統合型アテンションブロックを提案する。これらのブロックを積み重ね、画像エンコーダーと文デコーダーの両方に統合することで、COCO Karpathyテストスプリットで132.8%という最先端のCIDErスコアを達成し、高次相互作用を通じて優れたマルチモodal推論を実現している。

ABSTRACT

Recent progress on fine-grained visual recognition and visual question answering has featured Bilinear Pooling, which effectively models the 2$^{nd}$ order interactions across multi-modal inputs. Nevertheless, there has not been evidence in support of building such interactions concurrently with attention mechanism for image captioning. In this paper, we introduce a unified attention block -- X-Linear attention block, that fully employs bilinear pooling to selectively capitalize on visual information or perform multi-modal reasoning. Technically, X-Linear attention block simultaneously exploits both the spatial and channel-wise bilinear attention distributions to capture the 2$^{nd}$ order interactions between the input single-modal or multi-modal features. Higher and even infinity order feature interactions are readily modeled through stacking multiple X-Linear attention blocks and equipping the block with Exponential Linear Unit (ELU) in a parameter-free fashion, respectively. Furthermore, we present X-Linear Attention Networks (dubbed as X-LAN) that novelly integrates X-Linear attention block(s) into image encoder and sentence decoder of image captioning model to leverage higher order intra- and inter-modal interactions. The experiments on COCO benchmark demonstrate that our X-LAN obtains to-date the best published CIDEr performance of 132.0% on COCO Karpathy test split. When further endowing Transformer with X-Linear attention blocks, CIDEr is boosted up to 132.8%. Source code is available at \url{https://github.com/Panda-Peter/image-captioning}.

研究の動機と目的

• 従来のアテンション機構が第一順位の特徴相互作用しかモデル化できず、効果的なマルチモーダル推論が欠如しているという限界に対処すること。
• 二重線形プーリングを用いて視覚的・言語的モダリティ間の2次相互作用を捉える統合型アテンションブロックを提案すること。
• ブロックを積み重ね、パラメータフリーな方法でELUを適用することで、高次相互作用、さらには無限次相互作用をモデル化すること。
• X-Linearアテンションブロックを画像エンコーダーと文デコーダーの両方に統合し、内部的および相互モダリティ表現学習を強化すること。
• 向上したマルチモーダル推論を通じて、画像キャプションベンチマークで最先端のパフォーマンスを達成すること。

提案手法

• X-Linearアテンションブロックは、二重線形プーリングを用いてクエリとキーの外積を計算し、視覚的特徴と言語の隠れ状態間の2次相互作用をモデル化する。
• 2つの埋め込み層とソフトマックス演算を介して、二重線形出力の上に空間アテンション重みを予測し、関連する画像領域に焦点を当てる。
• スケーリング・エクスカレーション機構は、空間特徴を集約し、シグモイドゲート付きの励起を適用することでチャネルワイドなアテンションを計算し、チャネルの重要性を精緻化する。
• 注目された特徴は、空間的およびチャネルワイドなアテンションベクトルによって調整された、二重線形プールドされたクエリ-バリュー対の重み付き和として計算される。
• 複数のX-Linearブロックを積み重ねることで高次相互作用をモデル化し、追加のパラメータなしにELUを適用することで無限次相互作用を有効にモデル化する。
• X-LANアーキテクチャは、これらのブロックをFaster R-CNNベースの画像エンコーダーとLSTM/Transformerデコーダーに統合し、内部的（領域レベル）および相互モダリティ（視覚的・言語的）推論を強化する。

実験結果

リサーチクエスチョン

• RQ1 二重線形プーリングは、画像キャプションにおける2次相互作用を効果的にモデル化するアテンション機構に統合可能か？
• RQ2 空間的およびチャネルワイドなアテンション分布の両方をモデル化することで、視覚的・言語的特徴の整合性がどのように向上するか？
• RQ3 X-Linearアテンションブロックを積み重ねることで、過学習やパラメータの過剰増加を伴わずに高次相互作用を実現可能か？
• RQ4 X-Linearアテンションを画像エンコーダーと文デコーダーの両方に統合することで、画像キャプションタスクで顕著なパフォーマンス向上が得られるか？
• RQ5 X-LinearブロックにおけるELUの使用は、追加パラメータなしに無限次相互作用を効果的にモデル化可能か？

主な発見

• X-LANは、Transformerデコーダーと統合された場合、COCO Karpathyテストスプリットで132.8%という新たな最先端のCIDErスコアを達成した。
• エンコーダーに4つの積み重ねられたX-Linearブロックを搭載したモデルは、120.4%のCIDErスコアを達成し、積み重ね数の増加に伴う段階的向上が確認された。
• X-LinearブロックにELUを追加すると、4つのブロックでスコアが122.0%に向上し、高次相互作用の有効なモデル化が示された。
• アブレーションスタディでは、デコーダーにおける従来のアテンションをX-Linearアテンションに置き換えることで、CIDErが114.1%から117.0%に向上した。
• アテンション可視化では、X-LANが一貫して関連する画像領域に注目しており、Up-Downのようなベースラインモデルで見られる誤一致を回避していた。
• 4つの積み重ねられたブロックを超えるとパフォーマンス向上が頭打ちになることが示され、モデル容量と過学習のトレードオフが示された。