[論文レビュー] Automated Sizing and Training of Efficient Deep Autoencoders using Second Order Algorithms

Kanishka Tyagi, Chinmay Rane+1 more|arXiv (Cornell University)|Aug 11, 2023

Neural Networks and Applications被引用数 8

ひとこと要約

論文は、二階導数法を用いた一般化線形分類器と深層自己符号化器のための多段階訓練フレームワークを導入し、入力剪定、出力強化、スケーリングを含む高速で効果的なデスクトップ資源上のモデル構築を提案する。

ABSTRACT

We propose a multi-step training method for designing generalized linear classifiers. First, an initial multi-class linear classifier is found through regression. Then validation error is minimized by pruning of unnecessary inputs. Simultaneously, desired outputs are improved via a method similar to the Ho-Kashyap rule. Next, the output discriminants are scaled to be net functions of sigmoidal output units in a generalized linear classifier. We then develop a family of batch training algorithm for the multi layer perceptron that optimizes its hidden layer size and number of training epochs. Next, we combine pruning with a growing approach. Later, the input units are scaled to be the net function of the sigmoidal output units that are then feed into as input to the MLP. We then propose resulting improvements in each of the deep learning blocks thereby improving the overall performance of the deep architecture. We discuss the principles and formulation regarding learning algorithms for deep autoencoders. We investigate several problems in deep autoencoders networks including training issues, the theoretical, mathematical and experimental justification that the networks are linear, optimizing the number of hidden units in each layer and determining the depth of the deep learning model. A direct implication of the current work is the ability to construct fast deep learning models using desktop level computational resources. This, in our opinion, promotes our design philosophy of building small but powerful algorithms. Performance gains are demonstrated at each step. Using widely available datasets, the final network's ten fold testing error is shown to be less than that of several other linear, generalized linear classifiers, multi layer perceptron and deep learners reported in the literature.

研究の動機と目的

• デスクトップ資源上で訓練が効率的な一般化線形分類器と深層自己符号化器の設計を動機づける。
• 回帰に基づく初期化、剪定、出力整形、スケーリングを組み合わせた多段階訓練パイプラインを開発し、識別性能を向上させる。
• 深層自己符号化器における学習の問題と、線形性、隠れユニットの最適化、深さに関する理論的・経験的正当性を調査する。）
• method（文脈上の誤訳を避けるため、以下をそのまま保持します）

提案手法

• 回帰による初期の多クラス線形分類器を見つける。
• 不要な入力を剪定して検証誤差を最小化する。
• Ho-Kashyap風の方法で出力を改善する。
• 出力識別子をシグモイド出力単位の正味関数になるようスケーリングする。
• 隠れ層サイズと訓練エポックを最適化するためのMLP向けのバッチ訓練アルゴリズムを開発する。
• 剪定と成長アプローチを組み合わせ、MLPへ供給する入力単位をスケールする。
• 深層自己符号化器の学習原理を論じ、線形性、隠れユニットの最適化、深さに関する訓練問題・理論・経験的正当性を検討する。

実験結果

リサーチクエスチョン

• RQ1 剪定と入力/出力のスケーリングは一般化線形分類器と深層自己符号化器の性能をどう向上させるか？
• RQ2 深層アーキテクチャにおけるMLP隠れユニットと訓練エポックを最適化するための有効な二階・バッチベース訓練 regime は何か？
• RQ3 剪定、成長、スケーリングは深層自己符号化器訓練の深さと線形性の仮定にどう影響するか？
• RQ4 高速でデスクトップ資源に優しい訓練は、他の線形・一般化線形・MLP・深層学習アプローチと比較して競争力のある、あるいは優れた性能を生み出せるか？

主な発見

• 多段階訓練法は一般化線形分類器と深層自己符号化器の性能を向上させることができる。
• 提案された訓練プロセスの各段階で性能向上が示される。
• 最終ネットワークの十倍精度検証誤差は、文献に報告されている他のいくつかの線形・一般化線形分類器、MLP、深層学習モデルより小さい。