[論文レビュー] Normalized and Geometry-Aware Self-Attention Network for Image Captioning

Longteng Guo, Jing Liu+4 more|arXiv (Cornell University)|Mar 19, 2020

Multimodal Machine Learning Applications参考文献 44被引用数 26

ひとこと要約

本稿では、画像キャプション生成における自己注意機構を向上させるために、正規化自己注意（NSA）とジオメトリックに注意を払う自己注意（GSA）を提案する。NSAは自己注意内部の隠れ活性化を正規化することで、内部分布シフトの低減を図る。一方、GSAは画像内のオブジェクト間の相対的な幾何的関係を明示的にモデル化する。NG-SANモデルは、MS-COCOで128.6のSOTA CIDErスコアを達成し、動画キャプション、機械翻訳、視覚的質問応答のタスクにおいて一貫した性能向上を示した。

ABSTRACT

Self-attention (SA) network has shown profound value in image captioning. In this paper, we improve SA from two aspects to promote the performance of image captioning. First, we propose Normalized Self-Attention (NSA), a reparameterization of SA that brings the benefits of normalization inside SA. While normalization is previously only applied outside SA, we introduce a novel normalization method and demonstrate that it is both possible and beneficial to perform it on the hidden activations inside SA. Second, to compensate for the major limit of Transformer that it fails to model the geometry structure of the input objects, we propose a class of Geometry-aware Self-Attention (GSA) that extends SA to explicitly and efficiently consider the relative geometry relations between the objects in the image. To construct our image captioning model, we combine the two modules and apply it to the vanilla self-attention network. We extensively evaluate our proposals on MS-COCO image captioning dataset and superior results are achieved when comparing to state-of-the-art approaches. Further experiments on three challenging tasks, i.e. video captioning, machine translation, and visual question answering, show the generality of our methods.

研究の動機と目的

• 自己注意ネットワークにおける内部分布シフト問題に対処すること。これは、効果的な学習と最適化を妨げる要因である。
• 標準的な自己注意機構が無視する、画像内のオブジェクト間の相対的幾何的関係を明示的にモデル化することで、画像キャプションの性能を向上させること。
• 画像キャプションにとどまらず、複数の視覚言語タスクで性能を向上させる汎用的な注意メカニズムの開発。
• 従来は外部にのみ適用されていた自己注意層内の正規化が、モデルの安定性と性能を顕著に向上させられることを示すこと。
• 正規化と幾何的インダクティブバイアスを統合した統一フレームワークを構築し、注意ベースのモデルにおける視覚的表現学習を強化すること。

提案手法

• 自己注意の再パrameter化として、隠れ活性化に直接新しい正規化技術を適用する正規化自己注意（NSA）を提案。これにより、学習の安定性を高め、内部分布シフトを低減する。
• 標準的な自己注意を拡張し、オブジェクト特徴の相対的な空間的位置とスケールに依存する学習可能な幾何的バイアスを追加したジオメトリックに注意を払う自己注意（GSA）を導入。これにより、空間的に整合性のあるオブジェクトグループに注目できるようになる。
• NSAとGSAを統合したユニフィードモジュールNG-SANを構築し、Transformerベースの画像キャプションモデルのエンコーダー内の通常の自己注意ブロックに置き換える。
• 動画キャプションと機械翻訳タスクにおけるTransformerモデルのエンコーダーにNSAを適用。標準的な自己注意をNSAに置き換えることで、最小限の計算コストで一般化性能を向上させる。
• 視覚的質問応答のためのMCANモデルにおけるすべての自己注意モジュールをGSAに置き換えることで、視覚的言語的推論に幾何的インダクティブバイアスを組み込む。
• 標準ベンチマークを用いて提案モデルの学習と評価を実施：画像キャプションはMS-COCO、動画キャプションはVATEX、機械翻訳はWMT 2014 En-De、視覚的質問応答はVQA-v2を用いる。

実験結果

リサーチクエスチョン

• RQ1 自己注意層内の内部正規化が、視覚言語モデルにおける内部分布シフトの低減、学習安定性および性能の向上に寄与するか？
• RQ2 画像内のオブジェクト間の相対的幾何的関係を明示的にモデル化することで、視覚的表現学習が向上し、画像キャプション性能が向上するか？
• RQ3 正規化と幾何的注意を備えた自己注意の組み合わせが、画像キャプションにとどまらず、他の視覚言語タスクにも一般化可能か？
• RQ4 NSAとGSAが、既存のTransformerベースのモデルに対して最小限のアーキテクチャ的変更と計算コストで適用可能であり、一貫した性能向上をもたらすか？
• RQ5 NSAとGSAは、動画キャプション、機械翻訳、視覚的質問応答といった下流タスクにおいて、どの程度性能を向上させるか？

主な発見

• NG-SANモデルは、MS-COCO画像キャプションベンチマークで128.6のSOTA CIDErスコアを達成し、以前の最高単一モデル結果（125.5）を上回った。
• NSAはVATEX動画キャプションデータセットにおけるTransformerベースラインをCIDErで3.7ポイント、VATEX LSTMベースモデルを11.4ポイント上回った。
• NSAは、パrameterを追加しないまま、WMT 2014英語→ドイツ語翻訳タスクのBLEUスコアをTransformer-Baseベースラインより0.36ポイント向上させた。
• GSAはMCANのVQA-v2テスト標準正答率を70.83%から71.28%に向上させ、視覚的推論タスクにおける有効性を示した。
• NSAとGSAの組み合わせは、多様な視覚言語タスクにおいて一貫した性能向上をもたらし、提案モジュールの汎用性と頑健性を確認した。
• アブレーションスタディの結果、NSAとGSAはそれぞれ独立してかつ相乗的に性能向上に寄与しており、NSAは最適化を改善し、GSAは構造的インダクティブバイアスを強化していることが確認された。