[論文レビュー] Fiedler Regularization: Learning Neural Networks with Graph Sparsity

Edric Tam, David B. Dunson|arXiv (Cornell University)|Mar 2, 2020

Advanced Graph Neural Networks参考文献 26被引用数 7

ひとこと要約

この論文は、Fiedler正則化（Fiedler regularization）を導入し、ニューラルネットワークのグラフ構造のFiedler値（代数的連結性）を活用して、トレーニング中にスパarsityを誘導し、共適応を軽減する、新しいスペクトルグラフに基づく手法を提案する。グラフラプラシアンの2番目に小さい固有値（Fiedler値）による高い接続性のペナルティを課すことで、L1 や Dropout といった標準的な正則化手法よりも一般化性能が向上し、理論的保証と効率的な変分計算を備える。

ABSTRACT

We introduce a novel regularization approach for deep learning that incorporates and respects the underlying graphical structure of the neural network. Existing regularization methods often focus on dropping/penalizing weights in a global manner that ignores the connectivity structure of the neural network. We propose to use the Fiedler value of the neural network's underlying graph as a tool for regularization. We provide theoretical support for this approach via spectral graph theory. We list several useful properties of the Fiedler value that makes it suitable in regularization. We provide an approximate, variational approach for fast computation in practical training of neural networks. We provide bounds on such approximations. We provide an alternative but equivalent formulation of this framework in the form of a structurally weighted L1 penalty, thus linking our approach to sparsity induction. We performed experiments on datasets that compare Fiedler regularization with traditional regularization methods such as dropout and weight decay. Results demonstrate the efficacy of Fiedler regularization.

研究の動機と目的

• 既存の正則化手法がニューラルネットワークの重みを一様に扱うという限界に対処すること。
• 共適応と過学習を軽減するために、ニューラルネットワークアーキテクチャの接続性とトポロジーを明示的に尊重する正則化アプローチを開発すること。
• スペクトルグラフ理論を用いて、構造的スパarsityを誘導する理論的根拠があり、計算的に実行可能な深層ニューラルネットワーク用の方法を提供すること。
• Fiedler正則化と構造的に重み付けされたL1ペナルティの定式化を介して、スパarsity誘導との関係を確立すること。
• 画像分類ベンチマークにおいて、Dropout や重み減衰といった標準的なベースラインと比較して、本手法の実験的妥当性を検証すること。

提案手法

• 重みの絶対値をエッジ重みとして用い、ニューラルネットワークを無向・重み付き・単純グラフとして定式化する。
• グラフラプラシアン行列 $\mathbf{L} = \mathbf{D} - |\mathbf{W}|$ を定義し、その2番目に小さい固有値 $\lambda_2$（Fiedler値）を正則化ペナルティとして用いる。
• Fiedler値が重みの大きさに関して凹関数であることを証明し、最適化に有益な性質を保証する。
• Fiedler値のネットワーク重みに関する閉形式の勾配を導出し、エンドツーエンドのバックプロパゲーションを可能にする。
• トレーニング中の計算を高速化するために、テストベクトルを用いたラプラシアンの2次形式による変分近似を提案する。
• ペナルティを、ラプラシアンの2番目の固有ベクトルから導かれる重みを用いた構造的に重み付けされたL1ノルムに再定式化し、スパarsity誘導技術と結びつける。

実験結果

リサーチクエスチョン

• RQ1 ニューラルネットワークのグラフ構造のFiedler値は、共適応を軽減する構造に配慮した効果的な正則化ペナルティとして機能するか？
• RQ2 Fiedler正則化は、L1、L2、Dropout といった標準的手法と比較して、一般化性能やトレーニングダイナミクスにおいてどのように異なるか？
• RQ3 計算複雑性の高さにもかかわらず、Fiedler値は深層学習のトレーニング中に効率的に計算・最適化可能か？
• RQ4 Fiedler正則化は、一様なL1やDropoutと比較して、よりスパースで頑健なニューラルネットワークアーキテクチャをもたらすか？
• RQ5 Fiedler正則化フレームワークは、ResNets や全結合層を含む畳み込みネットワークなど、より複雑なアーキテクチャへ拡張可能か？

主な発見

• Fiedler正則化は、L1 や Dropout と比較して、MNIST および CIFAR10 におけるテスト性能を顕著に向上させる。後者は一様なペナルティにより性能が著しく劣る。
• Fiedler正則化下ではトレーニング中にFiedler値が徐々に減少し、ネットワーク接続性の制御された低下が示される。一方、L1 では急速な接続断絶と不安定性が観察される。
• スペクトル計算に起因するわずかなオーバーヘッドを除き、標準的な正則化手法と同等のトレーニング速度を達成する。
• Fiedlerペナルティの変分近似により、大規模ネットワークにおいても顕著な高速化が達成され、実用的であることが示された。
• Fiedler正則化フレームワークは理論的根拠があり、ResNets のようなスキップ接続を含むさまざまなアーキテクチャへ一般化可能である。
• 構造的に重み付けされたL1定式化により、スパarsity誘導と直接的な関係が確立され、一様なL1ペナルティの代替として原理的かつ整合的な手法が提供される。