[論文レビュー] Distribution of the search of evolutionary product unit neural networks for classification

Antonio J. Tallón‐Ballesteros, Pedro Antonio Gutiérrez+1 more|arXiv (Cornell University)|May 15, 2012

Neural Networks and Applications参考文献 22被引用数 5

ひとこと要約

本稿では、分類モデルの最適化探索を高速化するため、製品ユニットニューラルネットワーク（PUNNs）を用いた分散型進化的計算手法を提案する。計算負荷の高い進化的アルゴリズム処理をコンピュータのクラスタを活用して並列化することで、訓練およびアーキテクチャ探索の両面で顕著な高速化を達成し、逐次処理では不可能なほど複雑で高精度なモデルの設計が可能になった。

ABSTRACT

This paper deals with the distributed processing in the search for an optimum classification model using evolutionary product unit neural networks. For this distributed search we used a cluster of computers. Our objective is to obtain a more efficient design than those net architectures which do not use a distributed process and which thus result in simpler designs. In order to get the best classification models we use evolutionary algorithms to train and design neural networks, which require a very time consuming computation. The reasons behind the need for this distribution are various. It is complicated to train this type of nets because of the difficulty entailed in determining their architecture due to the complex error surface. On the other hand, the use of evolutionary algorithms involves running a great number of tests with different seeds and parameters, thus resulting in a high computational cost

研究の動機と目的

• 製品ユニットニューラルネットワーク（PUNNs）の訓練に進化的アルゴリズムを用いる際の高い計算コストを低減すること。
• コンピュータクラスタに計算負荷を分散させることで、最適なPUNNアーキテクチャの探索効率を向上させること。
• 進化的訓練における複雑な誤差面と、広範なパラメータおよびシードのテストの必要性に起因する課題を克服すること。
• 非分散的手法では実現が難しいほど、より複雑で高精度な分類モデルの設計を可能にすること。

提案手法

• PUNNの訓練およびアーキテクチャ探索のための進化的アルゴリズム実行を、コンピュータのクラスタに分散して実装した。
• ネットワークの重みとアーキテクチャ（製品ユニット数や接続数を含む）の両方を最適化するため、進化的アルゴリズムを用いた。
• 耐性性を高め、多様な解の探索を可能にするために、異なる乱数シードとアルゴリズムパラメータを用いた複数の独立した実行を実施した。
• マスタースレーブアーキテクチャを採用し、マスターノードがスレーブノード間でのタスク配分と結果集約を制御した。
• 進化的プロセスを誘導するため、分類精度と汎化性能に基づくフィットネス関数を適用した。
• PUNNのトポロジーや重み最適化に適した選択、交叉、変異演算子を備えた、集団ベースの進化的戦略を採用した。

実験結果

リサーチクエスチョン

• RQ1 分散コンピューティングを用いることで、最適な製品ユニットニューラルネットワーク構成の探索に要する時間が顕著に短縮されるか？
• RQ2 分類精度および収束速度の観点から、分散型進化的PUNN訓練は逐次訓練に比べて優れているか？
• RQ3 異なるシードおよびパラメータで複数の進化的ランを並列化することで、モデルの品質および多様性にどのような影響を与えるか？
• RQ4 クラスタインfra構造を用いることで、単一マシンでの実行に比べてPUNN設計のスケーラビリティはどの程度向上するか？

主な発見

• 分散処理により、逐次実行では不可能な解空間の広範な探索が可能になり、探索プロセスの著しい高速化が達成された。
• 異なるシードおよびパラメータを用いた複数の独立した実行により、より耐性性があり一般化性能の高い分類モデルが得られた。
• クラスタベースの実装により、単一マシンでは現実的な時間内に到達不可能なほど複雑なPUNNアーキテクチャの訓練が可能になった。
• 本手法はPUNNの複雑な誤差面を効果的に乗り越え、ベースライン手法に比べて分類精度が向上したモデルを生成した。