[論文レビュー] The Role of Permutation Invariance in Linear Mode Connectivity of Neural Networks

Rahim Entezari, Hanie Sedghi+2 more|arXiv (Cornell University)|Oct 12, 2021

Stochastic Gradient Optimization Techniques被引用数 14

ひとこと要約

本論文は、ニューラルネットワークにおける順列不変性が、SGD解間の線形補間における障壁を排除し、順列を考慮した場合に線形モード接続性（LMC）を可能にすると提案する。広範な実験と広い1層隠れ層ネットワークに対する理論的分析により、同義が支持され、順列を施した解はほぼゼロの損失障壁を示すことが判明し、ロットリーゲートの理論、分散学習、アンサンブル手法への応用が示唆される。

ABSTRACT

In this paper, we conjecture that if the permutation invariance of neural networks is taken into account, SGD solutions will likely have no barrier in the linear interpolation between them. Although it is a bold conjecture, we show how extensive empirical attempts fall short of refuting it. We further provide a preliminary theoretical result to support our conjecture. Our conjecture has implications for lottery ticket hypothesis, distributed training, and ensemble methods.

研究の動機と目的

• 順列不変性が、SGDで学習されたニューラルネットワーク解間の線形補間における損失障壁を排除できるかどうかを調査すること。
• 重みの順列変換などの不変性が、損失関数の幾何構造とモード接続性に与える影響を理解すること。
• 順列不変性のもとで、SGD解が損失障壁なしに線形に接続されるという仮説を理論的および実験的根拠で支持すること。
• ロットリーゲート仮説、分散学習、アンサンブル手法への実用的応用を探索すること。

提案手法

• 順列不変性を考慮した場合、SGD解が損失障壁なしに線形に接続されるという仮説を提示する。
• 2つの訓練済みモデル間の損失障壁を最小化する最適な重み順列を特定するために、シミュレーテッドアニーリング（SA）を用いる。
• 線形補間を用いて、訓練済みネットワーク同士の直接的および間接的障壁を評価し、順列処理の前後で比較する（例：MNIST、CIFAR-10で評価）。
• MLP、CNN、VGG、ResNetなど複数のアーキテクチャ、MNIST、SVHN、CIFAR-10、CIFAR-100などのデータセット、幅、深さの多様な設定で広範な実験的評価を実施する。
• 理論的分析により、ランダム初期化のもとで、広い1層隠れ層全結合ネットワークにおいて、同義が成り立つことを証明する。
• 実際のSGD解と、1つのSGD解または初期化を順列変換して生成した合成モデルを比較する。

実験結果

リサーチクエスチョン

• RQ1 訓練済みニューラルネットワークにおいて、順列不変性を考慮することで、SGD解間の線形補間における損失障壁が排除されるか？
• RQ2 シミュレーテッドアニーリングを用いて、重みの順列変換により、2つの訓練済みネットワーク間の損失障壁をどれほど低減または排除できるか？
• RQ3 順列処理を施した場合、ネットワークの幅、深さ、データセットの複雑さに応じて障壁サイズはどのように変化するか？
• RQ4 実際のSGD解における損失障壁と、1つの初期化を順列変換して生成した合成モデルにおける障壁の間に一貫した関係があるか？
• RQ5 広い1層隠れ層ネットワークにおいて、順列不変性に基づく線形モード接続性の仮説は理論的に正当化できるか？

主な発見

• 3,000を超える訓練済みネットワークを対象とした広範な実験的評価により、最適な順列を適用した後、SGD解間の損失障壁が一貫して低減され、多くの場合ほぼゼロにまで低下することが確認された。
• 広い1層隠れ層MLPでは、理論的分析により、順列不変性のもとで線形モード接続性が成立することが確認され、仮説の裏付けが得られた。
• シミュレーテッドアニーリングにより、複数の設定（例：幅 ≥ 2^6、深さ1のMNIST用MLP、幅2^10のSVHN用シャロウCNN）で、2つのネットワーク間の間接的障壁をほぼゼロにまで低減する順列が効果的に特定された。
• MNIST や SVHN などの簡単なタスクでは、ネットワークの幅と深さが増すにつれて、テストセットの障壁サイズが顕著に減少するが、CIFAR-100 などの難しいタスクでも同様の傾向が見られ、障壁はより小さくなる傾向にある。
• アーキテクチャやデータセットにかかわらず障壁低減が一貫して観察されたことから、順列不変性が損失関数の幾何構造を著しく単純化することが示唆された。
• 1つの初期化を順列変換して生成した合成モデルは、実際のSGD解で観察された障壁挙動をよく再現しており、仮説の妥当性を支持する。