[論文レビュー] PCA of high dimensional random walks with comparison to neural network training

Joseph M. Antognini, Jascha Sohl‐Dickstein|arXiv (Cornell University)|Jun 22, 2018

Neural Networks and Applications被引用数 11

ひとこと要約

本稿は、高次元ランダムウォークの主成分分析（PCA）を解析し、ニューラルネットワークの学習軌道と比較している。高次元においては、大部分の分散が最初の数個のPCA成分に集中しており、射影された軌道はリサージュ曲線を形成することを証明している。実験では、CIFAR-10 におけるResNet-50 および線形モデルが、ドリフト付きランダムウォークと類似したPCA分散分布と軌道形状を示しており、確率的最適化のダイナミクスが高次元パrameter空間においてランダムウォークに類似していることを示唆している。

ABSTRACT

One technique to visualize the training of neural networks is to perform PCA on the parameters over the course of training and to project to the subspace spanned by the first few PCA components. In this paper we compare this technique to the PCA of a high dimensional random walk. We compute the eigenvalues and eigenvectors of the covariance of the trajectory and prove that in the long trajectory and high dimensional limit most of the variance is in the first few PCA components, and that the projection of the trajectory onto any subspace spanned by PCA components is a Lissajous curve. We generalize these results to a random walk with momentum and to an Ornstein-Uhlenbeck processes (i.e., a random walk in a quadratic potential) and show that in high dimensions the walk is not mean reverting, but will instead be trapped at a fixed distance from the minimum. We finally compare the distribution of PCA variances and the PCA projected training trajectories of a linear model trained on CIFAR-10 and ResNet-50-v2 trained on Imagenet and find that the distribution of PCA variances resembles a random walk with drift.

研究の動機と目的

• 高次元ニューラルネットワーク学習軌道に適用したPCAの統計的性質を理解すること。
• 高次元空間におけるランダムウォークがニューラルネットワーク最適化の幾何構造をモデル化できるかどうかを調査すること。
• ニューラルネットワーク重みのPCA射影が、固有値分布および軌道形状の観点からランダムウォークに類似しているかどうかを特定すること。
• 勾配の動きを伴うランダムウォークおよびオルンシュタイン＝ウーレンベック過程（二次的ポテンシャル内での最小値へのドリフト）に一般化し、SGDをより正確にモデル化すること。
• 線形モデルおよびCIFAR-10 と ImageNet で訓練されたResNet-50-v2 に対する実験的PCAを用いて理論的結果を検証すること。

提案手法

• 零平均 i.i.d. 増分を仮定した平坦空間における高次元ランダムウォークのPCA固有値および固有ベクトルの形式的導出。
• 高次元および長時間軌道の極限において、大部分の分散が最初の数個のPCA成分によって捉えられることの証明。
• 共分散行列の調和的構造により、軌道のPCA射影がリサージュ曲線を形成することを解析的に示唆。
• 勾配の動きを伴うランダムウォークおよびオルンシュタイン＝ウーレンベック過程（二次的ポテンシャル内での最小値へのドリフト）への一般化。
• CIFAR-10 におけるResNet-50-v2 および線形モデルのPCA分散分布および射影軌道を理論的ランダムウォークモデルと実験的に比較。
• ResNet-50-v2 などの高パrameterモデルにおけるPCAを可能にするために、30,000次元のランダムガウス射影の使用。

実験結果

リサーチクエスチョン

• RQ1 ニューラルネットワーク学習軌道のPCA分散分布は、高次元ランダムウォークのそれと一致するか？
• RQ2 PCA部分空間におけるニューラルネットワークパラメータの射影軌道は、ランダムウォークと同様に、リサージュ曲線に類似した形状を示すか？
• RQ3 勾配の動きを伴うランダムウォークおよび二次的ポテンシャル内でのランダムウォークは、PCA特性の観点からニューラルネットワーク学習ダイナミクスとどの程度類似しているか？
• RQ4 ResNet-50-v2 パラメータのPCAは、特に最初のPCA成分において、ドリフト付きランダムウォークにどの程度類似しているか？
• RQ5 PCA射影の観点から、モデルの全学習軌道は、徐々に小さくなるステップサイズを伴うランダムウォークで近似可能か？

主な発見

• 高次元および長時間軌道の極限において、最初の数個のPCA成分がランダムウォークの大部分の分散を捉えている。これはニューラルネットワーク学習の観測結果と一致する。
• 共分散行列の調和的構造のため、ランダムウォーク軌道の任意のPCA部分空間への射影は、リサージュ曲線を描く。
• 勾配の動きを伴うランダムウォークおよびオルンシュタイン＝ウーレンベック過程では、高次元においても軌道は平均回帰的ではなく、最小値からの固定距離で閉じ込められる。
• CIFAR-10 で訓練された線形モデルのPCA分散分布は、特に学習の中盤において、オルンシュタイン＝ウーレンベック過程と類似している。
• ResNet-50-v2 のPCA分散分布は、特に学習終了時に最初の成分が支配的であり、強い方向的ドリフトを示しており、ドリフト付きランダムウォークと一致する。
• 線形モデルおよびResNet-50-v2 のPCA部分空間における射影軌道は、ランダムウォークのそれと強く類似しており、学習開始および終了時に最初の成分でわずかに外側に曲がるようなわずかなずれを除いては、ほとんど同一の形状を示す。