[論文レビュー] Sparse and Continuous Attention Mechanisms

André F. T. Martins, António Farinhas+4 more|arXiv (Cornell University)|Jun 12, 2020

Topic Modeling参考文献 51被引用数 10

ひとこと要約

本稿では、変形指数型分布族とツァリス統計を用いて、sparsemax や entmax を連続空間へ拡張することで、1次元および2次元領域におけるスパースで解釈可能な注意メカニズムを導入する。α ∈ {1,2} に対して効率的なバックプロパゲーションアルゴリズムを導出し、テキスト分類、機械翻訳、視覚的質問応答のタスクで、離散的なトークンやピクセルではなく、コンパクトな区間や領域に注目することで、局在化の向上を実現する。

ABSTRACT

Exponential families are widely used in machine learning; they include many distributions in continuous and discrete domains (e.g., Gaussian, Dirichlet, Poisson, and categorical distributions via the softmax transformation). Distributions in each of these families have fixed support. In contrast, for finite domains, there has been recent work on sparse alternatives to softmax (e.g. sparsemax and alpha-entmax), which have varying support, being able to assign zero probability to irrelevant categories. This paper expands that work in two directions: first, we extend alpha-entmax to continuous domains, revealing a link with Tsallis statistics and deformed exponential families. Second, we introduce continuous-domain attention mechanisms, deriving efficient gradient backpropagation algorithms for alpha in {1,2}. Experiments on attention-based text classification, machine translation, and visual question answering illustrate the use of continuous attention in 1D and 2D, showing that it allows attending to time intervals and compact regions.

研究の動機と目的

• スパース注意メカニズム（例：sparsemax, entmax）を離散的領域から連続的領域へ拡張すること。
• 連続的スパース注意とツァリス統計、および変形指数型分布族との理論的関連を確立すること。
• α ∈ {1,2} の連続的注意メカニズムに対して、効率的なバックプロパゲーションアルゴリズムを開発すること。
• 連続的注意メカニズムが、テキスト分類、機械翻訳、視覚的質問応答などの実世界の NLP およびビジョンタスクにおいて有効であることを示すこと。
• 個々の離散的単位ではなく、コンパクトで連続する領域（例：時間区間、画像パッチ）に注目できる注意メカニズムを可能にすること。

提案手法

• 変形指数型分布族を用いて測度空間への entmax 変換の一般化により、連続的領域における α-entmax を提案する。
• スコア関数を連続的領域上で α-entmax 変換することで、支持集合が変化するスパースな確率密度を生成する連続的注意メカニズムを導出する。
• 変換のヤコビアンを一般化された共分散行列として定義し、暗黙の微分法を用いて効率的な勾配計算を可能にする。
• 温度パrameter τ を用いて集中度を制御し、低温極限ではグローバル最大値にディラックデルタ関数に収束することを示す。
• 連続的時間または空間座標上にスコア関数を定義することで、1次元（テキスト）および2次元（画像）への連続的注意メカニズムの適用を実施する。
• 導出されたヤコビアン構造を用いて、連続的注意層におけるバックプロパゲーションを実行し、ニューラルネットワークにおけるエンドツーエンド学習を可能にする。

実験結果

リサーチクエスチョン

• RQ1 スパース注意メカニズムを離散的領域から連続的領域へ一般化できるか？
• RQ2 連続的スパース注意とツァリス統計、または変形指数型分布族との理論的関連は何か？
• RQ3 α ∈ {1,2} の連続的注意メカニズムに対して、どのように効率的なバックプロパゲーションを達成できるか？
• RQ4 連続的注意は、コンパクトな領域の局在化を要するタスクにおいて、解釈性と性能の両面で向上をもたらすか？
• RQ5 注目局在化とタスク性能の観点から、連続的注意は離散的注意と比べてどのように異なるか？

主な発見

• 連続的 α-entmax メカニズムは、支持集合が変化するスパースな注意分布を生成し、データ内でのコンパクトな1次元区間や2次元領域の選択を可能にする。
• α = 1 および α = 2 の場合、一般化された共分散行列として表現される閉形式のヤコビアンにより、効率的なバックプロパゲーションが達成される。
• テキスト分類では、連続的注意が意味のある文節に局在化し、精度を損なわずに解釈性が向上した。
• 機械翻訳では、離散的 softmax と同等の性能を示し、注意マップにおける局在化が優れていることが確認された。
• 視覚的質問応答では、連続的注意が関連する画像領域（例：連続領域内のオブジェクト数え上げ）に適切に注目し、空間的整合性が求められる状況で離散的注意を上回った。
• 視覚的例（図4～7）は、連続的注意が複数の無関係な領域に注目を分散させないことを示しており、複雑な数え上げや局在化タスクにおいてより正確な回答をもたらしている。