[論文レビュー] Why Unsupervised Deep Networks Generalize

Anita de Mello Koch, Ellen De Mello Koch+1 more|arXiv (Cornell University)|Dec 7, 2020

Neural Networks and Applications参考文献 27被引用数 7

ひとこと要約

本論文は、教師なし深層ネットワークが一般化性能を発揮する理由を、データ内の高周波数（高運動量）モードを破棄する renormalization group (RG) 変換を暗黙的に行っていることによるものと提案している。これは、統計的場の理論が自由度を削減する方法に類似している。訓練済みの RBM やオートエンコーダーの特異ベクトルを分析することで、大きな特異値が低周波数モードに対応しており、RGに類似した振る舞いを確認した。また、RGにインspiredされた方法（RGM）によるネットワーク初期化が、全訓練と同等の性能を達成しながら、学習時間を 4–100× 減少させることを示した。

ABSTRACT

Promising resolutions of the generalization puzzle observe that the actual number of parameters in a deep network is much smaller than naive estimates suggest. The renormalization group is a compelling example of a problem which has very few parameters, despite the fact that naive estimates suggest otherwise. Our central hypothesis is that the mechanisms behind the renormalization group are also at work in deep learning, and that this leads to a resolution of the generalization puzzle. We show detailed quantitative evidence that proves the hypothesis for an RBM, by showing that the trained RBM is discarding high momentum modes. Specializing attention mainly to autoencoders, we give an algorithm to determine the network's parameters directly from the learning data set. The resulting autoencoder almost performs as well as one trained by deep learning, and it provides an excellent initial condition for training, reducing training times by a factor between 4 and 100 for the experiments we considered. Further, we are able to suggest a simple criterion to decide if a given problem can or can not be solved using a deep network.

研究の動機と目的

• 訓練サンプル数よりもはるかに多くのパラメータを持つにもかかわらず、深層学習ネットワークが良好に一般化するという一般化のパズルを解明すること。
• 深層ネットワークの一般化行動が renormalization group (RG) のメカニズムに起因しているかどうかを調査すること。
• データ駆動型の RG 原理に基づく深層ネットワークの初期化手法を開発し、学習効率を向上させること。
• RGに基づく解析を用いて、与えられた問題が深層ネットワークで解けるかどうかを判定する基準を確立すること。

提案手法

• 訓練済みの RBM やオートエンコーダーの重み行列に対して特異値分解 (SVD) を実行し、学習された表現の構造を分析する。
• 2次元離散フーリエ変換 (DFT) を用いて特異ベクトルの周波数成分を分析し、特に半径平均を用いて低運動量モードまたは高運動量モードへの寄与度を評価する。
• 粗粒度化則を用いてデータから直接ネットワークパラメータを導出し、ブロックスピン変換を模倣する、RGにインspiredされた初期化手法 (RGM) を構築する。
• MNIST、ファッショングラフMNIST、およびイジング模型のデータを用いて、RGMで初期化されたネットワークの性能と学習速度を標準的訓練と比較する。
• ブロックスピン変換行列に SVD を適用し、RGの粗粒度化と深層ネットワークの学習済み重み行列との間の同等性を示す。
• ノイズ安定性と特異値の減衰を、有効パrameter数と一般化能力の指標として用いる。

実験結果

リサーチクエスチョン

• RQ1 訓練済みの深層ネットワークは、データ内の高周波成分を破棄することで、RGに類似した変換を実行しているか？
• RQ2 深層ネットワークの一般化能力は、RGに類似したモード抑制によって有効パrameter数が減少することによって説明可能か？
• RQ3 RGにインspiredされた方法（RGM）による初期化により、深層ネットワークの学習時間が著しく短縮され、性能を維持できるか？
• RQ4 フーリエモードのサポートに基づく簡単な基準を用いて、問題が深層ネットワークで解けるかどうかを予測できるか？
• RQ5 訓練済み重み行列の特異ベクトルと、既知のRG変換の固有モードとの間に定量的な対応関係があるか？

主な発見

• 訓練済みの RBM は RG に類似した振る舞いを示す：大きな特異値に対応する特異ベクトルは低周波数モードに集中しており、高運動量（高周波数）成分の抑制を示している。
• 隠れ層の特異ベクトルは、可視層のベクトルから高周波数モードを破棄することで得られ、粗粒度化プロセスを確認している。
• RGM 初期化手法により、MNIST では学習時間を 4 倍短縮し、ファッショングラフMNIST では 10 倍、より複雑なデータ（例：花のデータセット）では最大 100 倍短縮でき、性能は全訓練とほぼ同等だった。
• 小さな特異値に関連する特異ベクトルは、すべてのフーリエモードに広がっており、有効な一般化に寄与していないことが示された。
• ブロックスピン変換行列に SVD を適用した結果、訓練済みの深層ネットワークと同一の低周波数サポートとモード破棄行動を示し、理論的同等性を確認した。
• 本研究は、深層学習の一般化と RG理論との間の定量的関係を確立し、有効パrameter数が総パラメータ数ではなく、大きな特異値の数によって決定されることを示唆している。