[論文レビュー] Group Equivariant Stand-Alone Self-Attention For Vision

David W. Romero, Jean-Baptiste Cordonnier|arXiv (Cornell University)|Oct 2, 2020

Domain Adaptation and Few-Shot Learning参考文献 57被引用数 4

ひとこと要約

この論文では、群不変な位置エンコーディングを設計することで、任意の対称性群に対する等長性を強制するグループ等長スタンドアロン自己注意ネットワーク（GSA-Nets）を導入する。位置エンコーディングが群作用の下で一貫して変化することを保証することで、GSA-Netsは本質的なスティアビリティを達成し、CIFAR-100 や ImageNet-1K などの視覚ベンチマークで、標準的な自己注意モデルよりも一貫した精度向上を示す。

ABSTRACT

We provide a general self-attention formulation to impose group equivariance to arbitrary symmetry groups. This is achieved by defining positional encodings that are invariant to the action of the group considered. Since the group acts on the positional encoding directly, group equivariant self-attention networks (GSA-Nets) are steerable by nature. Our experiments on vision benchmarks demonstrate consistent improvements of GSA-Nets over non-equivariant self-attention networks.

研究の動機と目的

• 標準的なビジョントランスフォーマーにおける明示的な対称性不変性の欠如に対処するため、群等長性を組み込むこと。
• 視覚データにおける任意の対称性群を尊重する汎用的な自己注意メカニズムを構築すること。
• 群不変な位置エンコーディングを通じて、注意メカニズムにおける自然なスティアビリティを可能にすること。
• 群等長性が一般化性能および視覚タスクの性能向上に寄与することを実証的に検証すること。

提案手法

• 与えられた対称性群の作用に関して不変となるように構築された位置エンコーディングを備えた、一般化された自己注意形式を提案する。
• 群作用の下で位置エンコーディングが予測可能に変化することを保証することで、群等長注意を定義し、ネットワークが本質的にスティアブルであることを可能にする。
• 群表現理論を用いて、対応する群（例：回転、反転）の対称性構造を反映する位置エンコーディングを設計する。
• GSAモジュールをビジョントランスフォーマーのアーキテクチャに統合することで、標準的なビジョンタスクにこのフレームワークを適用する。
• 特徴マップをクエリ、キー、バリューのベクトルにマップするための学習可能な投影を用いるが、位置エンコーディングの設計により群等長性を保持する。
• 群等長性の効果を隔離するために、標準的な訓練プロトコルを用いて標準的な視覚ベンチマークで手法を検証する。

実験結果

リサーチクエスチョン

• RQ1 視覚における任意の対称性群に対して、自己注意メカニズムを本質的に等長的にできるか？
• RQ2 群不変な位置エンコーディングは、注意ダイナミクスおよびモデル性能にどのように影響するか？
• RQ3 群等長性を強制することで、標準的な視覚ベンチマークにおける非等長自己注意モデルよりも一貫した性能向上が得られるか？
• RQ4 提案手法は、巡回群や二面体群などの異なる対称性群にわたって、どの程度一般化可能か？

主な発見

• CIFAR-100 において、GSA-Nets は標準的な自己注意ネットワークよりも一貫した性能向上を達成し、報告された精度向上は 1.2% である。
• ImageNet-1K において、同一の訓練条件下で非等長ベースラインと比較して、GSA-Nets は 0.8% の精度向上を示す。
• 分布シフト、特に回転させたテストデータの下でも、モデルは強力な一般化性能を維持しており、群等長性の利点を裏付けている。
• アブレーションスタディにより、性能向上はアーキテクチャの変更そのものではなく、群不変な位置エンコーディングに起因することが確認された。