[論文レビュー] Dissecting Hessian: Understanding Common Structure of Hessian in Neural Networks

Yikai Wu, Xingyu Zhu+3 more|arXiv (Cornell University)|Oct 8, 2020

Sparse and Compressive Sensing Techniques参考文献 51被引用数 12

ひとこと要約

本稿では、ニューラルネットワークのレイヤーごとのヘシアンを、入力自己相関行列と出力ヘシアン行列のクロネッカー積として近似するデカップリング予想を提唱している。この予想により、トップ固有空間に観察される低ランク構造が説明される。著者らは、過パラメータ化された2層ネットワークにおいてこの構造を証明し、より深いモデルにおいても実験的に検証しており、異なるネットワーク間で固有空間の重なりが高く、低ランクに再形状された固有ベクトルが得られることを示している。これにより、PAC-Bayes一般化境界が改善される。

ABSTRACT

Hessian captures important properties of the deep neural network loss landscape. Previous works have observed low rank structure in the Hessians of neural networks. In this paper, we propose a decoupling conjecture that decomposes the layer-wise Hessians of a network as the Kronecker product of two smaller matrices. We can analyze the properties of these smaller matrices and prove the structure of top eigenspace random 2-layer networks. The decoupling conjecture has several other interesting implications - top eigenspaces for different models have surprisingly high overlap, and top eigenvectors form low rank matrices when they are reshaped into the same shape as the corresponding weight matrix. All of these can be verified empirically for deeper networks. Finally, we use the structure of layer-wise Hessian to get better explicit generalization bounds for neural networks.

研究の動機と目的

• ニューラルネットワークのヘシアンのトップ固有空間に現れる低ランク構造の起源を解明すること。
• 重みや初期化が異なるにもかかわらず、異なるモデルからのヘシアンのトップ固有空間が高重なりを示す理由を説明すること。
• 深層ネットワークにおけるレイヤーごとのヘシアンのトップ固有空間を、効率的に計算・分析する手法を開発すること。
• ヘシアン構造の知見を応用して、特にPAC-Bayesフレームワークにおいて明示的な一般化境界を改善すること。
• 多様なアーキテクチャやデータ分布にわたって、デカップリング予想の妥当性を検証すること。

提案手法

• レイヤーごとのヘシアンを、入力自己相関行列と出力ヘシアン行列のクロネッカー積として近似するデカップリング予想を提唱する。
• 入力自己相関行列を分析し、入力がゼロでない平均を持つ場合にほぼランク1であることを示し、これが全ヘシアンにおける低ランク構造を誘導することを示す。
• ランダムデータ上で過パラメータ化された2層ネットワークにおいて、出力ヘシアンが概ねランク $c-1$ であることを証明する。ここで $c$ はクラス数を表す。
• クロネッカー構造を用いて、重み行列からレイヤーごとのヘシアンのトップ固有空間を効率的に計算するためのヒューリスティックを導出する。
• より深いネットワークにおける予想の妥当性とその含意（固有空間の重なり、低ランクに再形状された固有ベクトルなど）を実験的に検証する。
• ヘシアン構造を応用し、ヘシアンに基づく事後分散最適化を組み込むことで、PAC-Bayes境界を精緻化する。

実験結果

リサーチクエスチョン

• RQ1 なぜ深層ニューラルネットワークのヘシアンは、そのトップ固有空間において低ランク構造を示すのか？
• RQ2 なぜ重みが直交していても、異なる学習済みモデルからのヘシアンのトップ固有空間が高重なりを示すのか？
• RQ3 入力分布（例：ゼロ平均対非ゼロ平均）は、レイヤーごとのヘシアンのランク構造にどのように影響を与えるか？
• RQ4 ヘシアンのクロネッカー積分解を用いて、よりタイトな一般化境界を導出できるか？
• RQ5 2層ネットワークを超えたより深い・より複雑なアーキテクチャにおいて、デカップリング予想はどの程度成立するか？

主な発見

• 入力自己相関行列が概ねランク1である場合（入力の平均がゼロでない場合）、レイヤーごとのヘシアンのトップ固有空間は、出力ヘシアンのそれと非常に類似している。
• 実験的に、異なるモデル（例：LeNet5 と ResNet18）のヘシアンのトップ固有空間は高い重なりを示し、そのピークはレイヤーの出力次元に一致する。
• ヘシアンのトップ固有ベクトルを重み行列の形状に再形状すると、低ランク行列が得られ、クロネッカー積構造と整合的である。
• ランダムデータ上で過パラメータ化された2層ネットワークにおいて、出力ヘシアンは概ねランク $c-1$ であり、そのトップ固有空間は重み行列から直接計算可能である。
• ヘシアン構造を組み込んだ反復的ヘシアン最適化法により、PAC-Bayes境界がタイトに改善され、T-600では境界値が 0.161 から 0.1198 に、T-1200では 0.179 から 0.1417 に低下した。
• 事後分散最適化はヘシアンの固有ベクトルと一致し、固有値が大きい方向で分散が小さくなることが確認された。これは、鋭い方向が事後分布でより強くペナルティを受けることを示している。