[論文レビュー] Provably Strict Generalisation Benefit for Equivariant Models

Bryn Elesedy, Sheheryar Zaidi|arXiv (Cornell University)|Feb 20, 2021

Neural Networks and Applications参考文献 31被引用数 10

ひとこと要約

本稿は、コンpaktoな群作用の下で等変性を制約するモデルにおいて、一般化誤差の改善が明示的に測定可能な形で示された、初めての証明可能な非ゼロの一般化利点を提供する。主な結果は、一般化ギャップが対称性の重要度（特性内積によって測定）に依存し、補間閾値で発散することを示しており、特定の分布的仮定の下で、標準モデルに対して明確かつ定量的な優位性を示している。

ABSTRACT

It is widely believed that engineering a model to be invariant/equivariant improves generalisation. Despite the growing popularity of this approach, a precise characterisation of the generalisation benefit is lacking. By considering the simplest case of linear models, this paper provides the first provably non-zero improvement in generalisation for invariant/equivariant models when the target distribution is invariant/equivariant with respect to a compact group. Moreover, our work reveals an interesting relationship between generalisation, the number of training examples and properties of the group action. Our results rest on an observation of the structure of function spaces under averaging operators which, along with its consequences for feature averaging, may be of independent interest.

研究の動機と目的

• 線形設定における等変モデルの形式的で非ゼロの一般化利点を確立すること。
• 群の対称性、訓練データサイズ、表現論が一般化性能に与える影響を特徴づけること。
• 等変性が最悪ケースの境界を越えて一般化を改善するかどうかの理論的明確さの欠如を解消すること。
• 平均化作用素と表現論を用いた厳密なフレームワークを構築し、関数空間の構造を分析すること。
• 理論的原則に基づいて、不変／等変ニューラルネットワークの訓練法を改善するための実用的知見を提供すること。

提案手法

• 過パラメータ化された線形モデルにおける勾配降下法の暗黙的バイアスをモデル化するため、最小L2ノルムの最小二乗解を用いる。
• 直交群の表現と特性理論を適用し、表現の内積を計算することで、対称性の重要度を捉える。
• 平均化作用素を用いて関数空間を不変、等変、反対称な部分空間に分解する。
• ランダム行列理論と等方的設計の仮定を用いて、期待一般化ギャップの正確な式を導出する。
• 群作用の性質と一般化に与える影響を符号化するため、行列値関数 $ J_{/mathcal{G}} $ を導入する。
• 等変性を破る成分を分離するために射影作用素 $ \Psi_{\mathcal{G}}^{\perp} $ を用い、それがテスト誤差に与える寄与を定量する。

実験結果

リサーチクエスチョン

• RQ1 線形モデルにおいて等変性を強制することは、標準モデルと比較して一般化性能に証明可能な非ゼロの向上をもたらすか？
• RQ2 訓練例の数 $ n $ が群の対称性とどのように作用し、一般化性能に影響を与えるか？
• RQ3 特性内積 $ (\chi_\psi|\chi_\phi) $ が一般化利点の大きさを決定する役割を果たすか？
• RQ4 一般化ギャップが補間閾値 $ n \in [d-1, d+1] $ で発散するのはなぜか？これはダブルデセントとどのように整合するか？
• RQ5 線形モデルからの知見を、不変／等変ニューラルネットワークのためのより良い訓練法の設計に応用できるか？

主な発見

• 期待一般化ギャップは $ \mathbb{E}[\Delta(f,f^\prime)] = \text{Var}[\xi] \cdot r(n,d) \cdot (dk - (\chi_\psi|\chi_\phi)) + \mathcal{E}_{\mathcal{G}}(n,d) $ で与えられ、$ r(n,d) $ はデータ領域依存性を捉える。
• 一般化利点は $ dk - (\chi_\psi|\chi_\phi) > 0 $ のとき厳密に正であり、これはタスクが非自明な対称性構造を持つ場合に成立する。
• $ r(n,d) $ が $ n \in [d-1, d+1] $ で発散することはダブルデセント現象と整合しており、補間付近で一般化利得が増加することを示唆している。
• 項 $ dk - (\chi_\psi|\chi_\phi) $ は、群平均作用の下で消える線形写像の空間の次元を表しており、対称性と一般化利得の直接的な関連を示している。
• ノイズのない一般化ギャップ $ \mathcal{E}_{\mathcal{G}}(n,d) $ は $ n \geq d $ のとき消えるため、過パラメータ化されたモデルが真の等変関数を回復することを示している。
• 式 $ \mathbb{E}[\|\Psi_{\mathcal{G}}^{\perp}(X^\top X)^+ X^\top X \Theta\|_F^2] $ の導出は、モデルの等変性からの逸脱とテスト誤差との間の明確な関係を提供している。