[論文レビュー] SCA-CNN: Spatial and Channel-wise Attention in Convolutional Networks for Image Captioning

Long Chen, Hanwang Zhang+5 more|arXiv (Cornell University)|Nov 17, 2016

Multimodal Machine Learning Applications参考文献 42被引用数 39

ひとこと要約

SCA-CNNは、画像字幕生成のためのCNN特徴量に空間的、チャネル別、多層アテンションメカニズムを統合する画期的な畳み込みニューラルネットワークを提案する。複数の層とチャネルにわたる文生成コンテキストを動的に調整することで、従来の空間的アテンションモデルに比べてBLEU4で4.8%の向上を達成し、最先端の性能を実現した。

ABSTRACT

Visual attention has been successfully applied in structural prediction tasks such as visual captioning and question answering. Existing visual attention models are generally spatial, i.e., the attention is modeled as spatial probabilities that re-weight the last conv-layer feature map of a CNN encoding an input image. However, we argue that such spatial attention does not necessarily conform to the attention mechanism --- a dynamic feature extractor that combines contextual fixations over time, as CNN features are naturally spatial, channel-wise and multi-layer. In this paper, we introduce a novel convolutional neural network dubbed SCA-CNN that incorporates Spatial and Channel-wise Attentions in a CNN. In the task of image captioning, SCA-CNN dynamically modulates the sentence generation context in multi-layer feature maps, encoding where (i.e., attentive spatial locations at multiple layers) and what (i.e., attentive channels) the visual attention is. We evaluate the proposed SCA-CNN architecture on three benchmark image captioning datasets: Flickr8K, Flickr30K, and MSCOCO. It is consistently observed that SCA-CNN significantly outperforms state-of-the-art visual attention-based image captioning methods.

研究の動機と目的

• 最終畳み込み層でのみ空間的アテンションに焦点を当てている既存の視覚的アテンションモデルの制限を解消すること。
• CNN特徴量が内蔵する空間的、チャネル別、多層的特性を活用し、画像字幕生成における視覚的表現を向上させること。
• 複数の特徴量層にわたって関連する空間的位置とチャネルを選択する動的な統合アテンションメカニズムを構築すること。
• 文生成過程における視覚的アテンションの層間での進化をより深く理解すること。

提案手法

• SCA-CNNは、事前に学習されたCNNから得られる多層3次元特徴マップに作用する空間的・チャネル別アテンションモジュールを導入する。
• モデルは複数の畳み込み層にわたって、各空間的位置とチャネルに対するアテンション重みを計算し、特徴量の動的変調を可能にする。
• 文のコンテキストを統合する学習可能なメカニズムを用いてアテンション重みを計算し、関連する視覚的特徴量の選択をガイドする。
• 本手法は汎用的であり、VGG や ResNet などの任意のCNNアーキテクチャに、所定の層にアテンションモジュールを挿入することで適用可能である。
• チャネル別アテンションは、たとえば「ケーキ」や「キャンドル」などのコンテキストに意味的に関連するフィルタ応答を特定する。
• アテンションメカニズムは微分可能であり、エンドツーエンドのバックプロパゲーションにより、画像字幕生成デコーダーと同時に学習される。

実験結果

リサーチクエスチョン

• RQ1 チャネル別および多層アテンションを統合することで、空間的アテンションに限定された既存のモデルを上回る視覚的表現の向上が達成できるか？
• RQ2 空間的、チャネル別、多層アテンションの組み合わせが、標準ベンチマーク上での字幕生成性能に与える影響は何か？
• RQ3 提案されたSCA-CNNモデルは、空間的アテンションに比べて、より解釈可能で意味的に明確なアテンションマップを提供するか？
• RQ4 関連する層の数が、特に小規模データセットにおいて性能と一般化性能に与える影響は何か？

主な発見

• SCA-CNNは、Flickr8K、Flickr30K、MSCOCOベンチマークにおいて、最先端の空間的アテンションモデル（Soft-Attention）をBLEU4で4.8%上回った。
• 本モデルは、3つのすべてのデータセットで一貫した向上を示し、空間的およびチャネル別アテンションを共同でモデル化することの有効性を裏付けた。
• より多くのアテンション層を追加することで性能が向上するが、あまりに多くの層を用いると、特にFlickr8Kのような小規模データセットで過学習を引き起こす傾向がある。
• MSCOCOのテストサーバーでは、SCA-CNNはアンサンブルモデル（例：ATTおよびGoogle NIC）に僅か0.6%および0.7%のBLEU4差で及ばなかった。
• 可視化による定性的な分析では、チャネル別アテンションが「傘」や「キャンドル」などの意味的に関連する概念に対応するフィルタを的確に活性化していることが確認され、解釈可能性が裏付けられた。
• 本モデルは、文生成過程においてネットワークがどこ（空間的に）に、何（チャネル別に）に注目しているかを明確に理解できるようになる。