[論文レビュー] The Lie Derivative for Measuring Learned Equivariance

Nate Gruver, Marc Finzi+2 more|arXiv (Cornell University)|Oct 6, 2022

Neural Networks and Applications被引用数 6

ひとこと要約

本論文は、滑らかな変換における深層学習モデルの等変性を測る連続的で数学的に根拠のあるメトリックとして、リー微分を導入する。この手法を用いて、著者らは数百のモデルを分析し、畳み込みニューラルネットワーク（CNNs）とは対照的に、アーキテクチャ的インダクティブバイアスを欠くにもかかわらず、より大規模で高精度なモデル—特にビジョントランスフォーマー—がより強い等変性を示すことを発見した。特に、空間アーリアシングに起因する離散的サンプリングに起因する点関数非線形性が、等変性違反の主な要因であることが判明した。

ABSTRACT

Equivariance guarantees that a model's predictions capture key symmetries in data. When an image is translated or rotated, an equivariant model's representation of that image will translate or rotate accordingly. The success of convolutional neural networks has historically been tied to translation equivariance directly encoded in their architecture. The rising success of vision transformers, which have no explicit architectural bias towards equivariance, challenges this narrative and suggests that augmentations and training data might also play a significant role in their performance. In order to better understand the role of equivariance in recent vision models, we introduce the Lie derivative, a method for measuring equivariance with strong mathematical foundations and minimal hyperparameters. Using the Lie derivative, we study the equivariance properties of hundreds of pretrained models, spanning CNNs, transformers, and Mixer architectures. The scale of our analysis allows us to separate the impact of architecture from other factors like model size or training method. Surprisingly, we find that many violations of equivariance can be linked to spatial aliasing in ubiquitous network layers, such as pointwise non-linearities, and that as models get larger and more accurate they tend to display more equivariance, regardless of architecture. For example, transformers can be more equivariant than convolutional neural networks after training.

研究の動機と目的

• 離散的変換メトリクスの限界を回避する連続的で微分可能な等変性測定メトリックを、深層ニューラルネットワークに開発すること。
• 特にビジョントランスフォーマーのような非畳み込み型モデルにおいて、アーキテクチャ、モデルサイズ、学習の役割が等変性を達成するために果たす影響を理解すること。
• 特に空間アーリアシングに起因する等変性違反の主な要因である、特定のレイヤーやコンポonent（特に点関数非線形性）を同定すること。
• アーキテクチャ的バイアスとは無関係に、一般化性能と等変性の相関関係が存在するかを評価すること。
• 標準的なデータオーグメンテーションとモデル容量が、アーキテクチャ的インダクティブバイアスが存在しない状況でも、等変性を暗黙的に学習するかどうかを評価すること。

提案手法

• 連続的群作用（例：平行移動、回転、スケーリング）における関数の等変性からの逸脱度を定量化するため、リー微分を用いて局所的等変性誤差（LEE）を定義する。
• ネットワーク出力の連続的変換に関する方向微分としてリー微分を計算し、入力サイズで正規化することで、解像度不変性を確保する。
• 全LEEをレイヤー単位で分解することで、個々の構成要素への等変性誤差の寄与を特定し、アーキテクチャ的ユニットの細分化分析を可能にする。
• リー代数内の複数のランダム方向におけるリー微分のノルムを効率的に推定するトレース推定器を用いることで、計算コストを低減する。
• 300以上の事前学習済みモデルを含む大規模ベンチマークに、CNNs、ビジョントランスフォーマー、MLPベースアーキテクチャ（例：ViT、MLP-Mixer）を適用してメトリックを適用する。
• 離散的一致性および群サンプル等変性メトリクスと比較することで、リー微分が感度および解像度不変性において優れていることを検証する。

実験結果

リサーチクエスチョン

• RQ1 アーキテクチャ的インダクティブバイアスを欠くにもかかわらず、ビジョントランスフォーマーやMLPベースモデルは、CNNと比較して平行移動および回転等変性をどの程度達成しているか？
• RQ2 ニューラルネットワーク内での等変性違反の主な原因となるレイヤーやコンポonentは何か？ また、それらは空間アーリアシングとどのように関係しているか？
• RQ3 明示的なアーキテクチャ的制約がなくても、モデルの精度が向上するにつれて連続的変換における等変性が向上するか？
• RQ4 リー微分メトリックは、離散的または群ベースの等変性メトリクスと比較して、感度および解釈可能性においてどのように異なるか？
• RQ5 標準的なデータオーグメンテーションで学習されたモデルは、暗黙的に等変性を学習することができるか？ もし可能であれば、それらは明示的なアーキテクチャ的インダクティブバイアスを持つモデルと比較してどのようになるか？

主な発見

• アーキテクチャ的バイアスを欠くにもかかわらず、ビジョントランスフォーマーやMLPベースモデルは、訓練後、CNNよりも高い平行移動および回転等変性を示すことがある。
• CNNやビジョントランスフォーマーの両方で一般的に用いられる点関数非線形性は、離散的サンプリングに起因する空間アーリアシングに起因して、等変性違反の主な要因である。
• より大規模で高精度なモデルは、アーキテクチャを問わず一貫して高い等変性を示しており、モデル容量と学習が対称性の保存を暗黙的に改善していることを示唆している。
• リー微分メトリックは、ハイパボリック回転や明るさ変更においても、高精度なモデルがより高い等変性を示すことを明らかにした。これは、標準的なデータオーグメンテーションを超えた広範な対称性学習が行われていることを示している。
• リー微分はレイヤー単位での等変性誤差分解を可能にし、非線形性が特に深いネットワークにおいて等変性損失に顕著に寄与していることを暴露している。
• リー微分の連続的性質により、離散的メトリクスでは検出できないアーリアシング効果が捉えられ、深層ネットワークにおける微細な対称性違反を捉える際の優位性が顕著に現れている。