[論文レビュー] Deep Networks on Toroids: Removing Symmetries Reveals the Structure of Flat Regions in the Landscape Geometry

Fabrizio Pittorino, Antonio Ferraro+4 more|arXiv (Cornell University)|Jan 1, 2022

Advanced Neural Network Applications参考文献 41被引用数 7

ひとこと要約

本稿では、パラメータの対称性を標準化されたパrameterizationによって除去することで、トーラス的位相空間を形成する幾何的枠組みを提案する。パラメータ空間ではなく関数空間における誤差の地形を分析することで、平坦な極小値がより強く接続されており、互いに近接しており、低障壁によって結ばれていることが明らかになった。また、異なる最適化アルゴリズムから得られる極小値は、単純な多角形経路によって接続されており、過パラメータ化されたネットワークにおける平坦さ、一般化、接続性の強い関係を支持する。

ABSTRACT

We systematize the approach to the investigation of deep neural network landscapes by basing it on the geometry of the space of implemented functions rather than the space of parameters. Grouping classifiers into equivalence classes, we develop a standardized parameterization in which all symmetries are removed, resulting in a toroidal topology. On this space, we explore the error landscape rather than the loss. This lets us derive a meaningful notion of the flatness of minimizers and of the geodesic paths connecting them. Using different optimization algorithms that sample minimizers with different flatness we study the mode connectivity and relative distances. Testing a variety of state-of-the-art architectures and benchmark datasets, we confirm the correlation between flatness and generalization performance; we further show that in function space flatter minima are closer to each other and that the barriers along the geodesics connecting them are small. We also find that minimizers found by variants of gradient descent can be connected by zero-error paths composed of two straight lines in parameter space, i.e. polygonal chains with a single bend. We observe similar qualitative results in neural networks with binary weights and activations, providing one of the first results concerning the connectivity in this setting. Our results hinge on symmetry removal, and are in remarkable agreement with the rich phenomenology described by some recent analytical studies performed on simple shallow models.

研究の動機と目的

• ニューラルネットワークの地形におけるパラメータ空間の幾何的構造と関数的挙動の乖離を解消すること。
• 重みパラメータ化における冗長な対称性による平坦さと接続性の測定の曖昧さを解消すること。
• 誤差地形を分析するための標準的で、対称性のない幾何的枠組みを確立すること。
• 過パラメータ化されたネットワークにおける平坦さ、一般化、接続性の関係を実証的に調査すること。
• 二値重みネットワークへの洞察を拡張し、この分野における最初の接続性分析の1つを提供すること。

提案手法

• 著者らは、入力-出力マッピングが同一であるネットワークを同一クラスにグループ化することで、関数的同等性に基づくニューラルネットワークの同値類を定義する。
• 隠れユニットおよびフィルタにおける連続的スケール不変性と離散的置換対称性を除去する標準化パラメータ化を適用する。
• これにより、対称性群による商をとったトーラス的位相空間が得られ、明確な幾何的記述が可能になる。
• 誤差地形は、この対称性のない関数空間で分析され、得られたリーマン計量を用いて平坦さと測地線距離が計算される。
• 最適化アルゴリズム（SGD、RSGD、ADV）を用いて平坦さの異なる極小値をサンプリングし、測地線経路と線形補間を用いて比較する。
• 二値ネットワークの場合、内部の連続的重みを用いて地形を投影し、その後二値化して訓練誤差を計算する。

実験結果

リサーチクエスチョン

• RQ1 パラメータ空間における対称性の除去は、深層ニューラルネットワークの誤差地形の幾何的構造にどのように影響するか？
• RQ2 極小値の平坦さと関数空間における接続性の関係は何か？
• RQ3 対称性除去後、平坦な極小値が誤差地形においてより近接しており、低障壁によって接続されていると示せるか？
• RQ4 異なる最適化アルゴリズムが、対称性のない空間で幾何的に構造的に接続された極小値を生成するか？
• RQ5 二値重みニューラルネットワークにおける接続性および障壁構造は、フル精度モデルとどのように異なるか？

主な発見

• 対称性のない関数空間において、誤差地形における平坦な極小値は一貫して互いに近接しており、測地線距離が短縮されている。
• SGD、RSGD、ADVといった異なる最適化アルゴリズムで得られた極小値は、低障壁を有する測地線経路によって接続されており、極めて接続された地形であることが示された。
• 対称性除去後、極小値間の測地線経路に沿った障壁は顕著に低減され、特に経路が最適化された場合には顕著である。
• 異なる平坦さレベルの極小値は、パrameter空間における2本の直線セグメントからなるゼロ誤差の多角形経路によって接続されており、単純な幾何的構造を示唆している。
• 二値重みネットワークにおいても、同様の接続性および低障壁構造が観察され、フレームワークの重み量子化へのロバストネスが確認された。
• 結果は、広大で平坦な解領域が、密集した中心クラスタと分岐した鋭い極小値を有するイカダのような構造を形成するという仮説を支持する。