[論文レビュー] Taxonomizing local versus global structure in neural network loss landscapes

Yaoqing Yang, Liam Hodgkinson+5 more|arXiv (Cornell University)|Jul 23, 2021

Stochastic Gradient Optimization Techniques参考文献 94被引用数 8

ひとこと要約

この論文は、数千のモデルにおける局所的およびグローバル構造的性質を分析することで、ニューラルネットワーク損失ランドスケープの分類を導入する。高いテスト精度は、グローバルに良好に接続されたランドスケープ、モデルアンサンブルの類似性、局所的な滑らかさと相関していることが示された。一方、データ品質が低い、またはモデルが小さいと、一般化性能を損なう poorly-connected ランドスケープを引き起こすことがある。

ABSTRACT

Viewing neural network models in terms of their loss landscapes has a long history in the statistical mechanics approach to learning, and in recent years it has received attention within machine learning proper. Among other things, local metrics (such as the smoothness of the loss landscape) have been shown to correlate with global properties of the model (such as good generalization performance). Here, we perform a detailed empirical analysis of the loss landscape structure of thousands of neural network models, systematically varying learning tasks, model architectures, and/or quantity/quality of data. By considering a range of metrics that attempt to capture different aspects of the loss landscape, we demonstrate that the best test accuracy is obtained when: the loss landscape is globally well-connected; ensembles of trained models are more similar to each other; and models converge to locally smooth regions. We also show that globally poorly-connected landscapes can arise when models are small or when they are trained to lower quality data; and that, if the loss landscape is globally poorly-connected, then training to zero loss can actually lead to worse test accuracy. Our detailed empirical results shed light on phases of learning (and consequent double descent behavior), fundamental versus incidental determinants of good generalization, the role of load-like and temperature-like parameters in the learning process, different influences on the loss landscape from model and data, and the relationships between local and global metrics, all topics of recent interest.

研究の動機と目的

• ニューラルネットワーク損失ランドスケープにおける局所的構造とグローバル構造の相互作用を理解すること。
• 現実世界のモデルにおいて、良い一般化性能と相関する損失ランドスケープの性質を同定すること。
• 局所的鋭さの指標にとどまらず、グローバル接続性と類似性の測定を組み込むことで、それらを越えること。
• モデルサイズ、データ品質、学習ハイパーパrameterがランドスケープ構造に与える影響を調査すること。
• CKA、モード接続性、ヘッセ行列といった馴染みのある指標を用いて、グローバル損失ランドスケープ特性を調査する、実用的な機械学習フレームワークを提供すること。

提案手法

• 多様なタスク、アーキテクチャ、データ環境における数千の訓練済みニューラルネットワークモデルを、経験的に分析する。
• ヘッセ行列に基づく指標（最大固有値、トレース）を用いて、局所的曲率と滑らかさを定量化する。
• モード接続性を用いて、訓練済みモデル間のグローバルランドスケープ接続性を評価する。
• モデル出力間の CKA（センター化されたカーネル整合性）類似度を計算して、アンサンブル類似度を測定する。
• モデル幅、データ量、データ品質（ラベルノイズ）、学習温度を体系的に変化させる。
• これらの指標とテスト精度の相関関係を調査し、一般化に関連する構造的パターンを同定する。

実験結果

リサーチクエスチョン

• RQ1 ヘッセ行列固有値のような局所的指標は、接続性や類似性のようなグローバルランドスケープ特性とどのように関係しているか？
• RQ2 データ品質とモデルサイズは、損失ランドスケープのグローバル接続性にどのような役割を果たすか？
• RQ3 グローバルに poorly-connected なランドスケープは、局所的最小値が平坦であっても、一般化性能を悪化させる可能性があるか？
• RQ4 負荷に類似した（モデルサイズ）および温度に類似した（学習ハイパーパrameter）パラメータは、ランドスケープ構造にどのように影響するか？
• RQ5 接続性と類似性の指標は、局所的鋭さよりも、一般化性能をどれほどよく予測できるか？

主な発見

• グローバルに良好に接続された損失ランドスケープは、高いテスト精度と強く相関しており、一方で poorly-connected ランドスケープは、訓練損失がゼロであっても一般化性能を劣化させる。
• モデル幅を大きくすると、モード接続性と CKA 類似度の両方が向上し、より良いグローバル構造とモデルの一致が得られる。
• データ量と品質の向上は、CKA 類似度とモード接続性を高め、データ品質が直接的にグローバルランドスケープ特性を形作っていることを示唆している。
• フェーズ IV（グローバルに良好に接続され、局所的に平坦な最小値）では、より大きな学習温度がモデル類似度を向上させ、確率的要因が一般化を促進する役割を果たしていることが示された。
• 低モード接続性に加えて、小さなヘッセ行列固有値と低い CKA 類似度は、データからの信号欠如を示しており、データ品質が悪いことを示唆している。
• データ品質やモデルサイズの影響を受けると、局所的鋭さの指標（例：ヘッセ行列トレース）は、一般化性能の予測に不十分である。平坦な最小値であっても、一般化性能が悪い場合がある。