[論文レビュー] A Study on the Behavior of a Neural Network for Grouping the Data

Suneetha Chittineni, Raveendra Babu Bhogapathi|arXiv (Cornell University)|Mar 17, 2012

Neural Networks and Applications参考文献 20被引用数 5

ひとこと要約

本稿では、高次元データのグループ化において、入力データの正規化がK-means高速学習型人工ニューラルネットワーク（KFLANN）の性能に与える影響を調査する。正規化がクラスタリング精度と収束速度を顕著に向上させることを示しており、その効果は正規化手法の種別によっても異なる。特に正規分布でないデータに対して顕著である。

ABSTRACT

One of the frequently stated advantages of neural networks is that they can work effectively with non-normally distributed data. But optimal results are possible with normalized data.In this paper, how normality of the input affects the behaviour of a K-means fast learning artificial neural network(KFLANN) for grouping the data is presented. Basically, the grouping of high dimensional input data is controlled by additional neural network input parameters namely vigilance and tolerance.Neural networks learn faster and give better performance if the input variables are pre-processed before being fed to the input units of the neural network. A common way of dealing with data that is not normally distributed is to perform some form of mathematical transformation on the data that shifts it towards a normal distribution.In a neural network, data preprocessing transforms the data into a format that will be more easily and effectively processed for the purpose of the user. Among various methods, Normalization is one which organizes data for more efficient access. Experimental results on several artificial and synthetic data sets indicate that the groups formed in the data vary with non-normally distributed data and normalized data and also depends on the normalization method used.

研究の動機と目的

• KFLANNによるデータグループ化における入力データ正規化の影響を分析すること。
• 正規分布でないデータにおける、異なる正規化手法がクラスタリング結果に与える影響を評価すること。
• 高次元データグループ化におけるKFLANN性能を向上させる最適な前処理戦略を特定すること。
• 複数のデータセットを用いて、正規化済みと非正規化の入力データにおけるクラスタリング結果を比較すること。

提案手法

• 本研究では、高次元入力データのグループ化にK-means高速学習型人工ニューラルネットワーク（KFLANN）を用いる。
• 入力データは、クラスタリング行動に与える影響を評価するために、さまざまな正規化手法を用いて事前処理を行う。
• KFLANNにおけるバイアスパラメータ（vigilance parameter）は、学習中の安定性を維持しながらグループ化プロセスを制御するために用いられる。
• 実験的評価は、異なる分布を有する複数の人工的および合成データセットを用いて実施される。
• 性能評価は、クラスタリング精度、収束速度、およびグループ形成の一貫性によって行われる。
• 最小-最大スケーリングやzスコア正規化などの異なる正規化手法を適用し、それらを比較する。

実験結果

リサーチクエスチョン

• RQ1 入力データの正規化は、KFLANNのクラスタリング行動にどのように影響を与えるか？
• RQ2 異なる正規化手法は、データグループ化の品質および安定性にどのような影響を与えるか？
• RQ3 非正規化データは、高次元空間におけるKFLANNの収束性および精度にどのように影響を与えるか？
• RQ4 データ前処理は、正規分布でないデータセットにおいて、KFLANN性能をどの程度向上させるか？

主な発見

• 正規化は、すべてのテストデータセットにおいてKFLANNアルゴリズムの収束速度を顕著に向上させる。
• 入力データが正規化されている場合、特にzスコア正規化および最小-最大スケーリングを用いた場合、クラスタリング精度が一貫して高くなる。
• 正規化済みと非正規化のデータでは、グループ形成結果に顕著な差が生じ、データ分布がクラスタ形成に強く影響することが示された。
• 異なる正規化手法は、異なるクラスタリング結果をもたらすため、最適なパフォーマンスを得るためには手法選択が極めて重要である。
• 特に高次元で正規分布でないデータにおいて、KFLANNは正規化された入力データを用いることで、より安定的かつ信頼性の高い性能を発揮する。