[論文レビュー] Stuck in a What? Adventures in Weight Space

Zachary C. Lipton|arXiv (Cornell University)|Feb 23, 2016

Obesity and Health Practices参考文献 1被引用数 12

ひとこと要約

この論文は、訓練されたニューラルネットワークが臨界点に収束するとされる一般的な信念に挑戦し、重みが重み空間内の平坦で低損失の領域を長く移動することを示している。MNISTを用いた主成分分析（PCA）と軌道解析により、同じ初期化からでも異なるデータシャッフルによってモデルが顕著に分離することを発見し、誤差表面が局所的に非凸のままであること、およびゼロ損失解が孤立した極小値ではなく、広大で連続的な盆地に存在することを示している。

ABSTRACT

Deep learning researchers commonly suggest that converged models are stuck in local minima. More recently, some researchers observed that under reasonable assumptions, the vast majority of critical points are saddle points, not true minima. Both descriptions suggest that weights converge around a point in weight space, be it a local optima or merely a critical point. However, it's possible that neither interpretation is accurate. As neural networks are typically over-complete, it's easy to show the existence of vast continuous regions through weight space with equal loss. In this paper, we build on recent work empirically characterizing the error surfaces of neural networks. We analyze training paths through weight space, presenting evidence that apparent convergence of loss does not correspond to weights arriving at critical points, but instead to large movements through flat regions of weight space. While it's trivial to show that neural network error surfaces are globally non-convex, we show that error surfaces are also locally non-convex, even after breaking symmetry with a random initialization and also after partial training.

研究の動機と目的

• 訓練されたニューラルネットワークが臨界点に収束するのか、それとも重み空間内の平坦な領域を通過するのかを調査すること。
• ランダム初期化と部分的な訓練による対称性の破壊後も、誤差表面が局所的に凸でないまま残るかどうかを評価すること。
• 確率的データシャッフルが過剰なネットワークにおける重み軌道の分離に与える影響を検討すること。
• 次元削減と距離尺度を用いて、重み空間における訓練軌道の幾何的構造を評価すること。

提案手法

• ドロップアウトとℓ²正則化を用いて、MNIST上でパラメータ数819,557の3層畳み込みニューラルネットワーク（CNN）を訓練した。
• 異なるランダム初期化から200エポックにわたる全重み軌道を追跡した。
• 重み空間の軌道における非線形性を可視化・定量化するために2次元PCAを適用した。
• 同じ初期化からでも異なるデータシャッフルを用いた軌道を比較し、分離度を評価した。
• 固定エポックにおける解同士のペアワイズユークリッド距離を測定し、対称性と盆地構造を評価した。
• 10エポックの微調整後にモデルを再訓練し、5回クローンを生成し、それぞれ異なるデータシャッフルで再訓練することで、訓練後の分離をテストした。

実験結果

リサーチクエスチョン

• RQ1 ニューラルネットワークの重みは臨界点に収束するのか、それとも重み空間内の平坦で低損失の領域を通過するのか？
• RQ2 ランダム初期化による対称性の破壊後も、ニューラルネットワークの誤差表面は局所的に凸でないのか？
• RQ3 同じ初期化からでも、データシャッフルが重み軌道の分離をどの程度引き起こすのか？
• RQ4 固定エポック後に到達した解が原点および互いにほぼ等距離に位置するか、対称的な盆地構造を示唆するか？
• RQ5 主成分分析は重み空間の軌道に低次元で滑らかな多様体を明らかにできるか？

主な発見

• 重み空間の軌道の最初の2つの主成分が分散の81.39%を説明しており、非線形的で低次元の軌道であることが示された。
• 上位10個の主成分が分散の95.63%を説明しており、重み軌道が低次元多様体上に存在することを示唆している。
• 固定エポック後のすべての解のペアが、互いにほぼ等距離にあり、原点に対しても同様であったため、重み空間における強い対称性が示された。
• 10エポックの事前学習後でさえ、同じ重みからクローンを生成し、異なるデータシャッフルで訓練したことで解が分離したため、非凸性が持続していることが示された。
• モデルは100エポック目にゼロの訓練誤差に達したが、依然として重み空間の平坦な領域を移動し続けたため、ゼロ損失領域が孤立した臨界点ではないことが示された。
• 初期化から解への直線的な経路では損失が単調に減少するが、実際の勾配降下軌道は顕著に非線形であったため、重み空間における複雑なダイナミクスが確認された。