[論文レビュー] Area Attention

Yang Li, Łukasz Kaiser+2 more|arXiv (Cornell University)|Oct 23, 2018

Multimodal Machine Learning Applications参考文献 9被引用数 4

ひとこと要約

本稿では、連続する領域（空間的または時間的に隣接する項目）に注目できる、新しいアテンションメカニズム「エリアアテンション」を提案する。アイテムベースのアテンションが個々のアイテムに注目するのに対し、エリアアテンションは、項目の整合性に基づいて動的に領域サイズを学習し、和分テーブルを用いて効率的な計算を実現することで、追加パラメータなしにニューラル機械翻訳および画像キャプションタスクの性能を向上させる。

ABSTRACT

Existing attention mechanisms, are mostly item-based in that a model is designed to attend to a single item in a collection of items (the memory). Intuitively, an area in the memory that may contain multiple items can be worth attending to as a whole. We propose area attention: a way to attend to an area of the memory, where each area contains a group of items that are either spatially adjacent when the memory has a 2-dimensional structure, such as images, or temporally adjacent for 1-dimensional memory, such as natural language sentences. Importantly, the size of an area, i.e., the number of items in an area, can vary depending on the learned coherence of the adjacent items. By giving the model the option to attend to an area of items, instead of only a single item, we hope attention mechanisms can better capture the nature of the task. Area attention can work along multi-head attention for attending to multiple areas in the memory. We evaluate area attention on two tasks: neural machine translation and image captioning, and improve upon strong (state-of-the-art) baselines in both cases. These improvements are obtainable with a basic form of area attention that is parameter free. In addition to proposing the novel concept of area attention, we contribute an efficient way for computing it by leveraging the technique of summed area tables.

研究の動機と目的

• 既存のアイテムベースのアテンションメカニズムが単一のアイテムに注目するため、データ内の構造的・文脈的整合性を捉えることができないという限界を解消すること。
• メモリ内の隣接するアイテムのグループ（領域）に注目できる新しいアテンションメカニズムを提案し、空間的または時間的整合性のモデリングを向上させること。
• 隣接するアイテムの整合性に基づいて動的に領域サイズを学習可能にすることで、モデルが意味のある領域に自発的に注目できるようにすること。
• 和分テーブル（積分画像とも呼ばれる）を用いた効率的な計算手法を提供し、スケーラビリティを確保すること。
• ニューラル機械翻訳や画像キャプションといった実世界のタスクにおけるエリアアテンションの有効性を評価すること。

提案手法

• エリアアテンションは、メモリ内の連続するアイテムの領域（空間的に隣接する場合（例：2次元特徴マップ）や時間的に隣接する場合（例：系列））を定義することで動作する。
• 各領域のサイズは、モデルが学習した隣接するアイテムの整合性に基づいて動的に決定され、可変サイズの受容 field を実現する。
• マルチヘッドアテンションと自然に統合可能で、異なるヘッドで複数の領域を並列に注目できる。
• 和分テーブル（積分画像とも呼ばれる）を用いることで、長方形または連続領域における領域和を定数時間で計算可能となり、効率的な計算が実現される。
• この手法はパラメータフリーであり、標準的なアテンションメカニズムを超えて追加の可学習パラメータを導入しない。
• アテンション重みは個々のトークンではなく、全体の領域に対して計算され、アテンションスコアは各領域がクエリに対してどれだけ関連性があるかを反映する。

実験結果

リサーチクエスチョン

• RQ1 個々のアイテムではなく、メモリ内の連続する領域（エリア）に注目することで、系列モデリングおよびビジョンタスクの性能が向上するか？
• RQ2 アイテムの整合性に基づく動的な領域サイズ選択が、モデルの性能および一般化能力に与える影響は何か？
• RQ3 追加のパラメータや計算コストを増加させることなく、エリアアテンションを効率的に計算できるか？
• RQ4 ニューラル機械翻訳や画像キャプションといったタスクで、エリアアテンションは標準的なアイテムベースアテンションを上回るか？
• RQ5 和分テーブルの使用により、実世界のモデルへの実用的導入が可能になるか？

主な発見

• エリアアテンションはニューラル機械翻訳において、強力な最先端のベースラインを上回る結果を達成した。
• 画像キャプションタスクにおいても、強力なベースラインモデルを著しく上回る改善を示し、ビジョン・ランゲージタスクにおける有効性を実証した。
• 基本的でパラメータフリーなエリアアテンション形式を用いることで改善が達成されたため、メカニズム自体が主なイノベーションであることが示された。
• 和分テーブルの使用により、エリアアテンションの計算が効率的に行えるようになり、実世界の応用にスケーラブルで実用的であることが保証された。
• 整合性に基づく動的な領域サイズ選択により、モデルは意味的に意味のあるアイテムのグループに注目でき、表現学習が強化された。
• エリアアテンションは2次元（画像）および1次元（系列）の両方のメモリ構造に一般化可能であり、広範な適用可能性を示した。