[論文レビュー] Factorized Attention: Self-Attention with Linear Complexities.

Zhuoran Shen, Mingyuan Zhang+3 more|arXiv (Cornell University)|Dec 4, 2018

Advanced Neural Network Applications参考文献 17被引用数 12

ひとこと要約

本論文は、入力サイズに伴い記憶容量と計算量が二次関数的から線形に増加するようにする、標準的なドット積注意機構の線形計算量の代替手法として、ファクタライズド・アテンションを提案する。自己注意機構を空間的およびチャネル別成分に分解することにより、高解像度モデルへの効率的な統合が可能となり、MS-COCOおよびScene Flowベンチマークで最先端の性能を達成した。

ABSTRACT

Dot-product attention has wide applications in computer vision and natural language processing. However, its memory and computational costs grow quadratically with the input size. Such growth prohibits its application on high-resolution inputs. To remedy this drawback, this paper proposes a novel efficient attention mechanism equivalent to dot-product attention but with substantially less memory and computational costs. Its resource efficiency allows more widespread and flexible integration of attention modules into a network, which leads to better accuracies. Empirical evaluations demonstrated the effectiveness of its advantages. Efficient attention modules brought significant performance boosts to object detectors and instance segmenters on MS-COCO 2017. Further, the resource efficiency democratizes attention to complex models, where high costs prohibit the use of dot-product attention. As an exemplar, a model with efficient attention achieved state-of-the-art accuracies for stereo depth estimation on the Scene Flow dataset. Code is available at this https URL.

研究の動機と目的

• 視覚および自然言語処理モデルにおけるドット積注意機構の二次関数的記憶容量および計算コストを軽減すること。
• リソース制約のため、標準的な注意機構が非現実的となる高解像度入力での注意機構の使用を可能にすること。
• 性能を維持しつつ、計算および記憶のオーバーヘッドを顕著に削減する効率的な注意メカニズムの設計。
• リソース要件を低減させることで、複雑なモデルにおける注意モジュールへのアクセスを民主化すること。
• オブジェクト検出、インスタンスセグメンテーション、ステレオ深度推定を含む多様な視覚タスクにおいて、提案手法の有効性を実証すること。

提案手法

• 標準的なドット積自己注意機構を、空間的アテンションとチャネル別アテンションの2段階の成分に分解する。
• 特徴マップ上で空間的アテンションを適用し、空間的位置間の注意重みを計算する。
• 空間的集約の後に、チャネル別アテンションを適用してチャネル間を注目する。
• 完全な注意計算を2つの線形時間の演算に分解し、入力長nに対して計算量をO(n²)からO(n)に低減する。
• 標準的な注意機構の表現能力を維持しつつ、顕著な効率性の向上を達成する。
• 最小限のアーキテクチャ的変更で、既存のアーキテクチャにファクタライズド・アテンションモジュールを統合する。

実験結果

リサーチクエスチョン

• RQ1 自己注意機構を再構築することで、性能を維持しつつ線形計算量を達成できるか？
• RQ2 ファクタライズド・アテンションによる効率性の向上が、高解像度入力におけるモデル精度にどの程度寄与するか？
• RQ3 提案されたメカニズムにより、標準的なドット積注意機構がコストが高いため使用が困難なモデルでも注意機構の使用が可能になるか？
• RQ4 ファクタライズド・アテンションメカニズムは、下流の視覚タスクで最先端の性能を達成するか？

主な発見

• 提案されたファクタライズド・アテンションメカニズムにより、記憶容量および計算量がO(n²)からO(n)に低減され、高解像度入力での効率的利用が可能になった。
• 効率的な注意モジュールを搭載したオブジェクト検出器およびインスタンスセグメンテーションモデルは、MS-COCO 2017で顕著な性能向上を達成した。
• ファクタライズド・アテンションを組み込んだモデルは、Scene Flowデータセットにおけるステレオ深度推定で最先端の精度を達成した。
• 効率性の向上により、従来では標準的なドット積注意機構がコストが高いため導入が困難だった複雑なアーキテクチャへの注意モジュールの広範な統合が可能になった。
• 実証的評価により、ファクタライズド機構が顕著なリソース消費の削減を実現しながらも、競争力のある性能を維持していることが確認された。