[論文レビュー] Pattern Classification using Simplified Neural Networks

S. M. Kamruzzaman, Ahmed Ryadh Hasan|arXiv (Cornell University)|Sep 25, 2010

Neural Networks and Applications参考文献 14被引用数 3

ひとこと要約

本稿では、不要な重み、入力、隠れユニットを削除するためのプルーニングアルゴリズムを適用することで、パターン分類のための簡略化されたニューラルネットワーク手法を提案する。この手法により、ネットワークの複雑さを顕著に低減しつつ、優れた汎化性能を維持できる。ベンチマークデータセットにおける実験結果から、プルーニングされたネットワークは最小限のパラメータで高い精度を達成しており、従来のANNの「ブラックボックス」性を効果的に解消していることが示された。

ABSTRACT

In recent years, many neural network models have been proposed for pattern classification, function approximation and regression problems. This paper presents an approach for classifying patterns from simplified NNs. Although the predictive accuracy of ANNs is often higher than that of other methods or human experts, it is often said that ANNs are practically "black boxes", due to the complexity of the networks. In this paper, we have an attempted to open up these black boxes by reducing the complexity of the network. The factor makes this possible is the pruning algorithm. By eliminating redundant weights, redundant input and hidden units are identified and removed from the network. Using the pruning algorithm, we have been able to prune networks such that only a few input units, hidden units and connections left yield a simplified network. Experimental results on several benchmarks problems in neural networks show the effectiveness of the proposed approach with good generalization ability.

研究の動機と目的

• 従来の人工ニューラルネットワーク（ANN）の「ブラックボックス」問題を、その複雑さを低減することで解決すること。
• 不要なコンponentsの体系的プルーニングを通じて、ANNの解釈可能性と効率性を向上させること。
• 入力ユニット、隠れユニット、接続数を最小限に抑えながらも、高い予測精度を維持すること。
• 標準的なベンチマーク分類問題における簡略化ネットワークの有効性を評価すること。
• 複雑さが低下しても、汎化能力が損なわれないことを実証すること。

提案手法

• 訓練済みニューラルネットワーク内の不要な重みを同定・削除するためのプルーニングアルゴリズムを適用する。
• ネットワーク出力への寄与度に基づいて、不要な入力および隠れユニットを同定・削除する。
• 繰り返し低影響の接続およびニューロンを削除することで、アーキテクチャを簡略化する。
• 構造的削減後の性能を維持するために、簡略化されたネットワークを再訓練する。
• 一般化性能の評価を目的として、複数のベンチマークパターン分類データセットにこの手法を適用する。
• 繰り返しのプルーニングと再訓練を通じて、ネットワークの複雑さを最小限に抑えつつ分類精度を保持する。

実験結果

リサーチクエスチョン

• RQ1 分類精度が低下することなく、ニューラルネットワークの複雑さを顕著に低減できるか？
• RQ2 一般化性能を維持しつつ、どの程度まで不要な重み、入力、隠れユニットを削除できるか？
• RQ3 プルーニングは、予測性能を損なわせることなく、ANNの解釈可能性を向上させることができるか？
• RQ4 提案されたプルーニングアルゴリズムは、多様なベンチマークパターン分類タスクにおいてどの程度有効か？
• RQ5 簡略化されたネットワークは、パラメータ数を減らしても、同等またはより優れた性能を達成できるか？

主な発見

• プルーニングアルゴリズムにより、ネットワーク内の入力ユニット、隠れユニット、接続数が明確に削減された。
• 簡略化されたネットワークは、ベンチマーク分類問題において優れた汎化性能を維持した。
• 予測精度の損失を最小限に抑えながら、顕著なネットワーク複雑さの低減が達成された。
• アーキテクチャの簡略化を通じて、ANNの「ブラックボックス」性を効果的に軽減する手法となった。
• 複数のベンチマークデータセットにおいても安定した性能を示し、本手法の有効性が確認された。
• 最終的な簡略化されたネットワークは、極めて少ないパラメータ数で高い分類精度を達成した。