[論文レビュー] Relaxing Equivariance Constraints with Non-stationary Continuous Filters

Tycho F. A. van der Ouderaa, David W. Romero+1 more|arXiv (Cornell University)|Apr 14, 2022

Machine Learning in Materials Science被引用数 6

ひとこと要約

本論文は、絶対的な群要素に依存する非定常連続フィルタを用いて、ニューラルネットワークにおける群不変性の微分可能かつパラメータ効率の良い緩和を提案する。これにより、非不変性、厳密な不変性、および厳密な不変性の間の滑らかな補間が可能となり、勾配ベースの学習によって不変性の度合いを最適化できる。この手法により、CIFAR-10およびCIFAR-100で最先端の性能を達成し、厳密な不変性や部分的不変性のベースラインを上回る。

ABSTRACT

Equivariances provide useful inductive biases in neural network modeling, with the translation equivariance of convolutional neural networks being a canonical example. Equivariances can be embedded in architectures through weight-sharing and place symmetry constraints on the functions a neural network can represent. The type of symmetry is typically fixed and has to be chosen in advance. Although some tasks are inherently equivariant, many tasks do not strictly follow such symmetries. In such cases, equivariance constraints can be overly restrictive. In this work, we propose a parameter-efficient relaxation of equivariance that can effectively interpolate between a (i) non-equivariant linear product, (ii) a strict-equivariant convolution, and (iii) a strictly-invariant mapping. The proposed parameterisation can be thought of as a building block to allow adjustable symmetry structure in neural networks. In addition, we demonstrate that the amount of equivariance can be learned from the training data using backpropagation. Gradient-based learning of equivariance achieves similar or improved performance compared to the best value found by cross-validation and outperforms baselines with partial or strict equivariance on CIFAR-10 and CIFAR-100 image classification tasks.

研究の動機と目的

• データが仮定された対称性を厳密に満たさない場合に、固定された硬い対称性制約が過度に制限的であるという問題に対処すること。
• 不変性の制約を滑らかに緩和しつつ、対称性が提供する誘導的バイアスを損なわない、パラメータ効率の良い手法を開発すること。
• 手動によるハイパーパramータチューニングの代わりに、データから勾配ベースの学習によって不変性の度合いを端末から学習可能にすること。
• 学習された不変性の緩和が、CIFAR-10 や CIFAR-100 などの画像分類ベンチマークにおける一般化性能を向上させることを実証すること。
• 深層学習モデルにおける調整可能な対称性構造の一般化可能な構築ブロックを提供すること。

提案手法

• 標準的な群畳み込みを一般化し、相対的な群要素と群内の絶対的位置の両方に依存する非定常連続フィルタを導入することで、厳密な不変性を破る。
• カーネルは群要素のフーリエ特徴マップを用いてパラメータ化され、空間的に変化しつつも微分可能かつパラメータ効率が保たれる。
• 不変性の度合いを制御する学習可能な周波数ベクトル $\bm{\omega}'$ が導入され、訓練中にバックプロパゲーションによりこのパラメータが学習される。
• Augerino [4] と同様に、拡張データに基づく正則化項を用いて、対称性の促進と訓練の安定化、一般化性能の向上を図る。
• 非不変性（全結合型）、厳密な不変性（標準的な群畳み込み）、および厳密な不変性のマッピングの3つのレジームの間での補間をサポートする。
• 連続カーネルの定式化により、離散カーネルに比べてパラメータ数が著しく減少し、アプローチの実行可能性とスケーラビリティが向上する。

実験結果

リサーチクエスチョン

• RQ1 不変性制約を滑らかに緩和しつつ、対称性の誘導的バイアスを保持できるニューラルネットワーク層を設計できるか？
• RQ2 勾配ベース最適化を用いて、データから不変性の度合いを効果的に学習できるか？
• RQ3 厳密な対称性が誤って指定されている画像分類タスクにおいて、不変性の緩和が性能向上に寄与するか？
• RQ4 固定または部分的不変性のベースラインと比較して、提案手法は精度およびデータ効率の面で優れているか？
• RQ5 提案された非定常フィルタは、深層学習モデルにおける調整可能な対称性の一般化可能な構築ブロックとして使用可能か？

主な発見

• 提案手法は、不変性の最良なクロスバリデーションによるハイパーパramータ選択を上回り、CIFAR-10およびCIFAR-100でより高いテスト精度を達成した。
• CIFAR-100では、厳密な不変性モデルよりも最大で10パーセンテージポイント高いテスト精度を達成した。
• 学習された $\bm{\omega}'$ を用いたモデルは、強力な増幅条件下でCIFAR-10で89.69%、CIFAR-100で62.22%の精度を達成し、部分的または厳密な不変性を持つベースラインを上回った。
• 対称性パラメータ $\bm{\omega}'$ の勾配ベース学習は、クロスバリデーションによるハイパーパramータチューニングと同等またはそれ以上の性能を示した。
• 非定常連続カーネルの定式化により、離散カーネルのパラメータ化に起因する計算の非実行可能性を回避し、効率的な訓練が可能になった。
• 本手法は、非不変性、厳密な不変性、および厳密な不変性のマッピングの間を滑らかに補間でき、対称性制御における柔軟性を実証した。