[論文レビュー] Linear discriminant initialization for feed-forward neural networks

Marissa Masden, Dev Sinha|arXiv (Cornell University)|Jul 24, 2020

Neural Networks and Applications参考文献 14被引用数 5

ひとこと要約

本稿では、データクラスを最も効果的に分離する線形判別分析を用いて、入力データ空間における最初の層の重みを幾何学的根拠に基づいて初期化する、Linear Discriminant Initialization (LDI) を提案する。ランダム初期化に代えてLDIを採用することで、特に大規模バッチ設定下において、データ幾何構造に整合した初期化がなされ、より最適な損失盆地に近い初期状態が得られるため、ネットワークの学習が高速化され、精度が向上する。

ABSTRACT

Informed by the basic geometry underlying feed forward neural networks, we initialize the weights of the first layer of a neural network using the linear discriminants which best distinguish individual classes. Networks initialized in this way take fewer training steps to reach the same level of training, and asymptotically have higher accuracy on training data.

研究の動機と目的

• ランダム重み初期化の代わりに幾何学的知見に基づいた手法を用いることで、ニューラルネットワークの学習効率と精度を向上させること。
• データ幾何構造に配慮した初期化が、収束速度の向上および一般化性能の向上に寄与するかどうかを調査すること。
• 訓練済みネットワークの幾何的解析から示唆されるように、最初の層の重みが判別的特徴をどのように捉えているかを明らかにすること。
• ロットリック・チケット仮説における重みプルーニングのような高コストな手法に代わる、計算的に実行可能な代替手法を提供すること。
• 幾何的・トポロジカルなネットワーク解析から得られる知見を、ディープラーニングにおける実用的初期化手法へと拡張すること。

提案手法

• 入力データ空間におけるクラス対ごとに、最も効果的に分離する超平面を計算するために線形判別分析（LDA）を適用する。
• LDAから得られる単位ベクトルを、前向き伝搬ネットワークの最初の層のニューロンの初期重みとして使用する。
• 各分離が成功した後、正しく分類された点を除外しながら、残りの未分類データ点に対して繰り返しLDAを適用する。
• この再帰的プロセスは「ソーティング・ゲーム」と呼ばれる。このプロセスにより、段階的にクラスごとにデータ点が分類される超平面の系列が得られる。
• 生成された超平面の数以上になるように最初の層のニューロン数を設定し、以降の層には標準的な初期化（例：Xavier や He）を適用する。
• すべての初期化された重みをバックプロパゲーション学習中に変化可能に保ち、幾何学的知見に基づいた初期状態を維持しつつも、柔軟性を損なわないようにする。

実験結果

リサーチクエスチョン

• RQ1 データ幾何構造に基づいた初期化は、ランダム初期化と比較して、学習速度と最終的な精度を向上させるか？
• RQ2 線形判別分析を用いた初期化は、特に大規模バッチ学習環境下で、より良い収束をもたらすか？
• RQ3 訓練済みネットワークにおける最初の層の重みが、データ分布の幾何構造をどの程度反映しているか？
• RQ4 ランダムでない決定論的初期化手法は、ネットワークプルーニングを必要とせず、標準的なランダム初期化を上回る性能を発揮できるか？
• RQ5 提案手法は、小規模ネットワークや単純なアーキテクチャを超えてスケーラブルかつ適用可能か？

主な発見

• LDIで初期化されたネットワークは、同一アーキテクチャのランダム初期化ネットワークと比較して、収束が早く、学習精度も高い。
• 大規模バッチ学習下での性能向上が顕著であり、これはLDIがより良い損失盆地に到達しやすい初期状態を提供している可能性を示唆している。
• MNISTデータセットにおいて、最適化されていないソーティング・ゲームアルゴリズムは約170秒を要するが、小規模ネットワークの1エポック分の学習は約17秒である。
• フルサイズのネットワークを学習完了させるには、LDI初期化に比べておよそ10倍の時間がかかるため、学習に比べてLDI初期化は計算的に非常に効率的である。
• シグモイド活性化関数を用いた場合の改善効果がReLUよりも顕著であり、活性化関数の種別に敏感である可能性を示している。
• 最初の層の特徴マップにLDAを適用して以降の層を初期化しても、良い結果は得られなかった。これは、LDIが最初の層に最も効果的であることを示唆している。