[論文レビュー] Vision Transformers provably learn spatial structure

Samy Jelassi, Michael E. Sander+1 more|arXiv (Cornell University)|Oct 13, 2022

Advanced Neural Network Applications被引用数 7

ひとこと要約

本論文は、局所性の明示的インダクティブバイアスがなくても、『パッチ連関』と呼ばれるメカニズムを通じて、ビジョントランスフォーマー（ViTs）が空間構造を暗黙的に学習することを理論的な枠組みで示している。位置エンコーディングのみに依存する注意行列を用いた簡略化されたViTの分析を通じて、著者らは勾配降下最小化が空間的に局所化された注意パターンを生じることを証明し、類似構造を持つ下流タスクへのサンプル効率的な転移を可能にしている。

ABSTRACT

Vision Transformers (ViTs) have achieved comparable or superior performance than Convolutional Neural Networks (CNNs) in computer vision. This empirical breakthrough is even more remarkable since, in contrast to CNNs, ViTs do not embed any visual inductive bias of spatial locality. Yet, recent works have shown that while minimizing their training loss, ViTs specifically learn spatially localized patterns. This raises a central question: how do ViTs learn these patterns by solely minimizing their training loss using gradient-based methods from random initialization? In this paper, we provide some theoretical justification of this phenomenon. We propose a spatially structured dataset and a simplified ViT model. In this model, the attention matrix solely depends on the positional encodings. We call this mechanism the positional attention mechanism. On the theoretical side, we consider a binary classification task and show that while the learning problem admits multiple solutions that generalize, our model implicitly learns the spatial structure of the dataset while generalizing: we call this phenomenon patch association. We prove that patch association helps to sample-efficiently transfer to downstream datasets that share the same structure as the pre-training one but differ in the features. Lastly, we empirically verify that a ViT with positional attention performs similarly to the original one on CIFAR-10/100, SVHN and ImageNet.

研究の動機と目的

• ビジョントランスフォーマーが局所的接続性の明示的インダクティブバイアスを欠いても、空間的構造をどのように学習するかを理解すること。
• トレーニング中に空間的に局所化された注意パターンを学習することで、ViTが一般化を可能にする暗黙のインダクティブバイアスを特定すること。
• 位置的注意のみに依存する注意行列を有する簡略化されたViTモデルが、勾配降下によって空間的構造を暗黙的に学習することを形式的かつ証明すること。
• この暗黙のバイアスが、同じ空間的構造を持つ下流タスクへのサンプル効率的な転移を可能にすることを示すこと。
• ランダム初期化から勾配ベース最適化のみを用いてViTがどのように局所的接続性パターンを学習するかを理論的に正当化すること。

提案手法

• 『位置的注意メカニズム』と呼ばれる、注意行列が位置エンコーディングにのみ依存する簡略化されたViTモデルを定義する。
• 空間的構造を持つ合成バイナリ分類データセットを構築し、空間パターンの学習を分離する。
• 母集団リスク（理想化された設定）における勾配降下が、パッチ連関（すなわち、空間的に連続するパッチをグループ化する能力）を生じることを証明する。
• このパッチ連関が、同じ空間的構造を持つ下流データセットへの一般化とサンプル効率的な転移を可能にすることを確立する。
• トレーニング中の注意係数の不変性および対称性分析を用いて、モデルが暗黙的に空間的局所性を学習することを証明する。
• 対数不等式および集中不等式（例：チェルノフの不等式）を用いて、最適化過程における注意重みおよび損失の成長を制御する。

実験結果

リサーチクエスチョン

• RQ1 ビジョントランスフォーマーが局所的接続性の明示的インダクティブバイアスを欠いても、空間的に局所化されたパターンをどのように学習できるか？
• RQ2 ランダム初期化からでも、ViTが空間的構造タスクに一般化できる暗黙のインダクティブバイアスは何か？
• RQ3 注意行列が位置エンコーディングにのみ依存する簡略化されたViTモデルでも、空間的構造データ上で学習・一般化できるか？
• RQ4 空間的構造の暗黙的学習（パッチ連関）は、同じ空間パターンを持つ下流タスクへのサンプル効率的な転移を可能にするか？
• RQ5 勾配降下トレーニング中にViT内で空間的局所性がどのようにして出現するかを理論的に裏付けるメカニズムは何か？

主な発見

• 位置的注意のみに依存する1層1ヘッドのViTは、勾配降下の過程でパッチ連関を実行する。つまり、空間的に連続するパッチをグループ化する能力を学習する。
• 理論的分析により、このパッチ連関が理想化された母集団リスク最小化および現実的な経験的リスク最小化の両設定で生じることを証明した。
• モデルは、最適化問題が複数の解を許容するにもかかわらず、空間的構造を暗黙的に学習することで一般化する。
• パッチ連関は、事前学習データセットと同じ空間的構造を持つ下流データセットへのサンプル効率的な転移を可能にする。
• 実験的結果により、位置的注意を用いたViTがCIFAR-10/100、SVHN、ImageNetで標準的なViTと同等の性能を示すことが確認された。
• 注意重みの進化に関する理論的境界は、トレーニング中に注意係数の不変性および対称性を通じて、空間的一致性が維持されることを示している。