[論文レビュー] PILAE: A Non-gradient Descent Learning Scheme for Deep Feedforward Neural Networks

Ping Guo, Wang, K.+1 more|arXiv (Cornell University)|Nov 5, 2018

Machine Learning and ELM参考文献 60被引用数 14

ひとこと要約

この論文では、バックプロパゲーションを用いずにエンコーダーおよびデコーダーの重みを直接計算するための、疑似逆行列と低ランク近似を用いた非勾配降下学習スキームであるPILAEを提案する。この手法は、顕著に減少したハイパーパrameterチューニングと向上した学習効率を実現し、自動機械学習（AutoML）向けの準自動化代替手法として位置づけられる。

ABSTRACT

In this work, a non-gradient descent learning (NGDL) scheme was proposed for deep feedforward neural networks (DNN). It is known that an autoencoder can be used as the building blocks of the multi-layer perceptron (MLP) DNN, the MLP is taken as an example to illustrate the proposed scheme of pseudoinverse learning algorithm for autoencoder (PILAE) in this paper. The PILAE with low rank approximation is a NGDL algorithm, and the encoder weight matrix is set to be the low rank approximation of the pseudoinverse of the input matrix, while the decoder weight matrix is calculated by the pseudoinverse learning algorithm. It is worth to note that only very few network structure hyper-parameters need to be tuned compared with classical gradient descent learning algorithm. Hence, the proposed algorithm could be regarded as a quasi-automated training algorithm which could be utilized in automated machine learning field. The experimental results show that the proposed learning scheme for DNN could achieve better performance on considering the tradeoff between training efficiency and classification accuracy.

研究の動機と目的

• バックプロパゲーションや反復最適化を回避する、深層フィードフォワードニューラルネットワーク向けの非勾配降下学習アルゴリズムの開発。
• 従来の勾配ベース手法と比較して、広範なハイパーパrameterチューニングの必要性を低減すること。
• 自動機械学習（AutoML）応用に適した準自動化学習を可能にすること。
• 直接的な重み計算により、分類精度を維持しつつ学習効率を向上させること。
• 疑似逆行列に基づく学習が、マルチレイヤーパーセプトロン向けの深層オートエンコーダー構造に適用可能かどうかを検証すること。

提案手法

• エンコーダー重み行列は、入力データ行列の疑似逆行列の低ランク近似として設定される。
• デコーダー重み行列は、エンコーダーからの再構築データを用いた疑似逆行列学習アルゴリズムにより計算される。
• 計算効率を高めるために、特異値分解（SVD）を用いて疑似逆行列の低ランク近似を実行する。
• アーキテクチャはオートエンコーダーをブロックとして用い、勾配更新なしにデータから直接重みが導出される。
• バックプロパゲーションや反復最適化を回避し、代わりに直接的な行列逆転とSVDに基づく近似に依存する。
• この学習スキームは、各オートエンコーダー層を深層ネットワークの構成要素として扱う、マルチレイヤーパーセプトロン（MLP）ネットワークに適用される。

実験結果

リサーチクエスチョン

• RQ1 バックプロパゲーションを用いずに、非勾配降下法が深層フィードフォワードネットワークで競争力のある性能を達成できるか？
• RQ2 疑似逆行列と低ランク近似の使用が、勾配ベース手法と比較して分類精度と学習速度に与える影響は何か？
• RQ3 この直接的な行列計算アプローチにより、深層学習におけるハイパーパrameterチューニングの範囲はどの程度縮小可能か？
• RQ4 この手法は、MLPのようなオートエンコーダー基盤の深層ネットワークに効果的に適用可能か？
• RQ5 提案されたスキームは、自動機械学習（AutoML）パイプラインへの統合に適しているか？

主な発見

• PILAE手法は、ベンチマークデータセットにおいて競争力ある分類精度を達成し、勾配降下を用いずとも優れた一般化性能を示した。
• バックプロパゲーションと反復最適化ステップの排除により、学習効率が顕著に向上した。
• 標準的な勾配ベース学習と比較して、チューニングが必要なハイパーパrameterの数が著しく削減された。
• 低ランク近似の使用により、計算の実行可能性を維持しながらモデルの性能を保持した。
• この手法は、AutoML応用に適した準自動化学習アプローチとしての可能性を示した。
• 実験結果から、PILAEが学習速度と分類精度の間で良好なトレードオフを実現することが確認された。