[論文レビュー] Deep Curvature Suite

Diego Granziol, Xingchen Wan+1 more|arXiv (Cornell University)|Dec 20, 2019

Stochastic Gradient Optimization Techniques参考文献 49被引用数 4

ひとこと要約

Deep Curvature Suite は、ランチョス法とランダムベクトルを用いて、深層ニューラルネットワークにおけるヘッセ行列および一般化ガウス＝ニュートン（GGN）行列のスペクトル解析を効率的かつ正確に行う、PyTorchベースのオープンソースソフトウェアパッケージである。このツールは、先行するツールと比較して最大10倍速く、高精度な曲率推定を可能にするとともに、固有値計算に関する広く見られる誤解を是正し、高次元集中不等式を用いたスペクトル推定の妥当性を検証している。

ABSTRACT

We present MLRG Deep Curvature suite, a PyTorch-based, open-source package for analysis and visualisation of neural network curvature and loss landscape. Despite of providing rich information into properties of neural network and useful for a various designed tasks, curvature information is still not made sufficient use for various reasons, and our method aims to bridge this gap. We present a primer, including its main practical desiderata and common misconceptions, of extit{Lanczos algorithm}, the theoretical backbone of our package, and present a series of examples based on synthetic toy examples and realistic modern neural networks tested on CIFAR datasets, and show the superiority of our package against existing competing approaches for the similar purposes.

研究の動機と目的

• 実世界の深層学習モデルにおける曲率情報（ヘッセ行列およびGGNスペクトル）を計算するための、アクセス可能で効率的かつ正確なツールの不足を解消すること。
• ランチョス法が固有値を上位から順に計算するとされる文献における一般的な誤解を是正すること。
• 研究者および実務家が現代のニューラルネットワークにおける曲率、損失関数の表面、最適化ダイナミクスを分析できる、実用的でスケーラブルかつ十分にドキュメント化されたソフトウェアスイートを提供すること。
• 合成データおよび実データの両方で、曲率行列の対角近似が任意に悪い結果をもたらす可能性があることを示し、その限界を明らかにすること。
• 高次元集中不等式を用いたスペクトル推定の理論的基盤を確立し、特定の条件下では1つのランダムベクトルで十分に正確なスペクトル近似が得られることを証明すること。

提案手法

• ランチョス法にランダムな初期ベクトルを用いて、ヘッセ行列およびGGNのスペクトルのモーメントマッチド離散近似を計算し、直交反復およびクリロフ部分空間法を活用する。
• 自動微分（PyTorch）を用いた高速なヘッセ・ベクトル積を活用し、ヘッセ行列の明示的計算を回避することで、大規模モデルへのスケーラビリティを実現する。
• 高次元集中不等式を適用し、特定の行列クラスに対しては1つのランダムベクトルで十分に正確なスペクトル推定が得られることを理論的に正当化する。
• ヘッセ行列およびGGNの固有ベクトルに沿って損失関数を走査することで、損失と精度の変化を極端な方向に沿って分析可能な損失関数表面の可視化を実装する。
• 数値的安定性とパフォーマンスを確保するため、GPyTorchの最適化されたランチョス実装と統合する。特に大規模モデルにおいて顕著な効果を発揮する。
• CIFAR-10およびCIFAR-100での実世界のモデルに加え、固有値分布が既知の合成行列を用いて、曲率近似の妥当性を検証する。

実験結果

リサーチクエスチョン

• RQ1 高次元の深層学習モデルにおいて、1つのランダムベクトルがヘッセ行列またはGGNの信頼性あるスペクトル近似を提供できるか？
• RQ2 一般的に用いられる曲率行列の対角近似は、完全なスペクトル推定と比較して、正確性と代表性の点でどの程度優れているか？
• RQ3 損失関数表面の幾何的仮定（例：スピンガラスモデル、ランダム行列理論）は、実際の深層ニューラルネットワークにおいてどの程度成立するか？
• RQ4 対角近似や限られた固有値分解に依存する先行研究が、なぜ真の曲率の構造を捉えられていないのか？
• RQ5 極端な曲率方向に沿った訓練損失とテスト損失の表面には、どのような相違が見られ、一般化性および最適化の観点から何を示唆するのか？

主な発見

• ランチョス法にランダムベクトルを用いることで、ヘッセ行列およびGGNのモーメントマッチドスペクトル近似が得られ、合成および実世界の深層学習モデルの両方でその正確性が検証された。
• ヘッセ行列またはGGNの対角近似は、合成行列およびCIFAR-10/100におけるVGG-16やResNet-18などの実際のネットワークでも、任意に悪い結果をもたらす可能性があることが示された。
• ヘッセ行列の滑らか化されたスペクトルモーメントは、カーネルスムージングのためバイアスが生じており、高次のモーメントになるほどバイアスが大きくなり、正の固有値に対しては正のバイアスが生じる。
• 訓練損失表面とテスト損失表面は単純なシフト関係にない。極端な固有ベクトルに沿って、テストセットと訓練セットで損失の変化が顕著に異なることが判明し、従来の仮定に疑問を呈する。
• Deep Curvature Suite は、VGG-16 や ResNet-18 といった現代的なアーキテクチャにおいて、1つのGPUで数分でヘッセ行列およびGGNの完全なスペクトルを計算可能であり、競合ツールと比較して最大10倍の高速化を達成した。
• 高次元集中不等式を用いた理論的裏付けにより、1つのランダムベクトルによるスペクトル推定が、特定の行列クラスに対して有効であることが証明された。