[論文レビュー] Training Process Reduction Based On Potential Weights Linear Analysis To Accelarate Back Propagation Network

Roya Asadi, Norwati Mustapha+1 more|ArXiv.org|Aug 11, 2009

Neural Networks and Applications参考文献 25被引用数 6

ひとこと要約

本稿では、バックプロパゲーションニューラルネットワーク（BPN）の学習速度を向上させるために、正規化、次元削減、事前学習を統合した新たな前処理手法であるポテンシャルウェイト線形解析（PWLA）を提案する。事前学習後に実際のポテンシャルウェイトを用いて入力次元を低減することで、PWLAは教師ありマルチレイヤーフィードフォワードニューラルネットワーク（SMFFNN）が反復的な学習サイクルを経ずに1エポックで高い精度を達成できるようにし、学習時間を顕著に短縮するとともに、重みのランダム初期化に起因する問題を克服する。

ABSTRACT

Learning is the important property of Back Propagation Network (BPN) and finding the suitable weights and thresholds during training in order to improve training time as well as achieve high accuracy. Currently, data pre-processing such as dimension reduction input values and pre-training are the contributing factors in developing efficient techniques for reducing training time with high accuracy and initialization of the weights is the important issue which is random and creates paradox, and leads to low accuracy with high training time. One good data preprocessing technique for accelerating BPN classification is dimension reduction technique but it has problem of missing data. In this paper, we study current pre-training techniques and new preprocessing technique called Potential Weight Linear Analysis (PWLA) which combines normalization, dimension reduction input values and pre-training. In PWLA, the first data preprocessing is performed for generating normalized input values and then applying them by pre-training technique in order to obtain the potential weights. After these phases, dimension of input values matrix will be reduced by using real potential weights. For experiment results XOR problem and three datasets, which are SPECT Heart, SPECTF Heart and Liver disorders (BUPA) will be evaluated. Our results, however, will show that the new technique of PWLA will change BPN to new Supervised Multi Layer Feed Forward Neural Network (SMFFNN) model with high accuracy in one epoch without training cycle. Also PWLA will be able to have power of non linear supervised and unsupervised dimension reduction property for applying by other supervised multi layer feed forward neural network model in future work.

研究の動機と目的

• バックプロパゲーションネットワーク（BPN）における重みのランダム初期化による非効率性と不安定性を是正すること。これにより、学習時間が長く、精度が低いという問題が生じる。
• 正規化、次元削減、事前学習といったデータ前処理技術を統合したフレームワークを導入することで、BPNの学習時間を短縮すること。
• BPNが反復的なバックプロパゲーションを経ずに1エポックで収束する方法を開発すること。これにより、高精度な学習が可能になる。
• 教師ありおよび教師なしの次元削減能力を併せ持つ前処理技術を開発し、フィードフォワードニューラルネットワークへの広範な適用可能性を高めること。

提案手法

• 処理の前段階として、特徴量のスケールを標準化するため、入力データに正規化を適用する。
• 正規化済みデータを用いて事前学習を実施し、ネットワークの初期ポテンシャルウェイトを計算する。
• 計算されたポテンシャルウェイトを基に、入力データ行列の次元削減を実行する。
• 最も重要なポテンシャルウェイトが定義する部分空間にデータを射影することで、入力特徴空間を圧縮する。
• 圧縮・前処理済みの入力データを用いて、最終的な教師ありマルチレイヤーフィードフォワードニューラルネットワーク（SMFFNN）を学習する。
• 反復的なバックプロパゲーションを必要とせず、1エポックで収束するように学習されたSMFFNNモデルを適用する。

実験結果

リサーチクエスチョン

• RQ1 正規化、事前学習、次元削減を統合した前処理フレームワークを導入することで、BPNの学習時間を顕著に短縮できるか？
• RQ2 事前学習から得たポテンシャルウェイトを用いることで、分類精度を保持しつつ効果的な次元削減が可能になるか？
• RQ3 提案手法PWLAを用いて学習されたBPNが、反復的なバックプロパゲーションを経ずに、1エポックで高い精度を達成できるか、すなわち1エポックで収束できるか？
• RQ4 ベンチマークデータセットにおいて、PWLAは従来のBPN学習法に比べて収束速度と精度の点でどの程度優れているか？
• RQ5 PWLAフレームワークは、教師ありおよび教師なし学習の両方の特性を持つ、他の教師ありフィードフォワードニューラルネットワークモデルへも拡張可能か？

主な発見

• 提案されたPWLA手法により、標準的なバックプロパゲーションネットワークが教師ありマルチレイヤーフィードフォワードニューラルネットワーク（SMFFNN）に変換され、1エポックで高い精度を達成することが確認された。
• XOR問題は、PWLAで前処理されたデータを用いて1エポックで100%の精度で解決され、急速な収束が実証された。
• SPECT心臓、SPECTF心臓、BUPA肝疾患データセットにおいて、PWLAは最小限または全くの反復学習で高い分類精度を達成した。
• 本手法は、教師ありおよび教師なしの次元削減を効果的に統合しており、顕著な情報損失を伴わずに効率的な特徴空間の圧縮を可能にした。
• ランダム初期化に代えて事前学習されたポテンシャルウェイトを採用することで、従来のBPN学習で見られる不安定性や収束の遅さが解消された。
• 結果から、PWLAは従来の学習法の代替として実用的であり、学習時間を顕著に短縮するとともに、精度を維持または向上させられることが示された。