[論文レビュー] Nonparametric Weight Initialization of Neural Networks via Integral Representation

Sho Sonoda, Noboru Murata|arXiv (Cornell University)|Dec 23, 2013

Neural Networks and Applications参考文献 28被引用数 7

ひとこと要約

本稿では、積分表現を用いて隠れパラメータのデータ依存型オラクル分布を導出することで、ニューラルネットワークの非パrametricな重み初期化手法を提案する。この分布からサンプリングし、出力重みを線形回帰でフィッティングすることで、バックプロパゲーションにおける収束を高速化し、微調整なしでも高い精度を達成でき、特に低次元問題において顕著である。

ABSTRACT

A new initialization method for hidden parameters in a neural network is proposed. Derived from the integral representation of the neural network, a nonparametric probability distribution of hidden parameters is introduced. In this proposal, hidden parameters are initialized by samples drawn from this distribution, and output parameters are fitted by ordinary linear regression. Numerical experiments show that backpropagation with proposed initialization converges faster than uniformly random initialization. Also it is shown that the proposed method achieves enough accuracy by itself without backpropagation in some cases.

研究の動機と目的

• 最適でないランダムな重み初期化によるバックプロパゲーションの収束不良という課題に対処すること。
• 積分表現理論を活用することで非凸最適化の落とし穴を回避するデータ駆動型初期化戦略の開発。
• 意味のある初期パラメータを用いることで、最小限または完全にバックプロパゲーションの更新を必要としない高性能なニューラルネットワーク学習の実現。
• 深層学習フレームワークと互換性があり、実世界のデータにスケーラブルな理論的裏付けのある非パrametricな初期化手法の提供。

提案手法

• Murataのニューラルネットワークの積分表現を用いて、隠れパラメータのオラクル確率分布を導出する。
• 非パrametricかつデータ依存型のオラクル分布から直接隠れ重みパラメータをサンプリングし、パラメータ空間の情報量の多い領域に位置するように保証する。
• サンプリングされた隠れ表現に対して通常最小二乗回帰を用いて出力重みをフィッティングし、出力層の学習を非線形最適化から分離する。
• 実際の複雑で高次元のオラクル分布に対処するため、座標変換と混合モデル近似技術を用いる。
• 特に実世界のデータ（例：MNIST）において高次元設定でサンプル品質を向上させるために、アニールドサンプリングを採用する。
• 2段階パイプラインとしての適用：(1) オラクル分布から隠れ重みをサンプリング、(2) 線形手法による出力重みの回帰。

実験結果

リサーチクエスチョン

• RQ1 隠れ重みに非パrametricかつデータ依存型の分布を用いることで、一様分布やガウス分布初期化と比較して学習収束が向上するか？
• RQ2 提案手法が、バックプロパゲーションの更新を一切行わずにどの程度高い精度を達成できるか？
• RQ3 手書き数字分類のような実世界の高次元データに対して、この手法はどの程度の性能を示すか？
• RQ4 積分表現フレームワークは、数値的安定性とスケーラビリティを兼ね備えた実用的実装が可能か？
• RQ5 収束速度と最終的な精度の観点から、既存の事前学習および初期化手法と比較して、本手法はどの程度優れているか？

主な発見

• 特にオラクル分布からのサンプリング（SR）を用いた本手法は、45,000回のSGD反復後、MNISTで9.94％のテスト誤差率を達成し、ランダム初期化を用いた標準的なバックプロパゲーションを上回った。
• サンプリング＋バックプロパゲーションのSBPバージョンは、初期段階での誤差低下が最も急で、45,000回の反復後、8.30％の誤差率を達成し、収束速度の優位性を示した。
• 低次元問題（例：曲線フィッティング、ブール関数近似）において、バックプロパゲーションの更新なしに高い精度（例：3.66％のテスト誤差）を達成した。
• 6,000個の隠れユニットを用いた場合、本手法はテスト誤差3.66％を達成し、LeCunらが300ユニットのみで報告した4.7％の誤差を上回った。
• 回帰ステップが最も時間がかかっており、SRでは2.60秒を要したが、サンプリングとSGDステップは著しく高速であったため、最適化によるスケーラビリティの可能性が示された。
• アニールドサンプリングによりサンプル品質が向上し、実世界のデータにおいても効果的な初期化が可能であることが示され、高次元入力空間に対しても頑健であることが示唆された。