[論文レビュー] Automatic Pattern Classification by Unsupervised Learning Using Dimensionality Reduction of Data with Mirroring Neural Networks

Dasika Ratna Deepthi, G. R. Aditya Krishna+1 more|ArXiv.org|Dec 6, 2007

Neural Networks and Applications参考文献 13被引用数 6

ひとこと要約

本稿では、非線形次元削減のためのマルチレイヤーミラーニューラルネットワークを用いた教師なしパターン分類手法を提案する。その後にフォージのクラスタリングアルゴリズムを適用する。ネットワークは入力データを元のサイズの約1/30に圧縮しつつ再構成性を保持する。圧縮された特徴量は、画像パターンにおいて改善されたクラスタリング性能を得るために異なるカテゴリに分類される。

ABSTRACT

This paper proposes an unsupervised learning technique by using Multi-layer Mirroring Neural Network and Forgy's clustering algorithm. Multi-layer Mirroring Neural Network is a neural network that can be trained with generalized data inputs (different categories of image patterns) to perform non-linear dimensionality reduction and the resultant low-dimensional code is used for unsupervised pattern classification using Forgy's algorithm. By adapting the non-linear activation function (modified sigmoidal function) and initializing the weights and bias terms to small random values, mirroring of the input pattern is initiated. In training, the weights and bias terms are changed in such a way that the input presented is reproduced at the output by back propagating the error. The mirroring neural network is capable of reducing the input vector to a great degree (approximately 1/30th the original size) and also able to reconstruct the input pattern at the output layer from this reduced code units. The feature set (output of central hidden layer) extracted from this network is fed to Forgy's algorithm, which classify input data patterns into distinguishable classes. In the implementation of Forgy's algorithm, initial seed points are selected in such a way that they are distant enough to be perfectly grouped into different categories. Thus a new method of unsupervised learning is formulated and demonstrated in this paper. This method gave impressive results when applied to classification of different image patterns.

研究の動機と目的

• ラベルなしデータを用いた教師なし学習フレームワークの開発。
• 非線形次元削減技術を用いて高次元の画像パターンデータを圧縮。
• フォージのアルゴリズムにおける初期シードポイントを最大限に離隔させた初期重心を用いることでクラスタリング精度の向上。
• ミラーニューラルネットワークが圧縮過程で構造的情報を効果的に保持できることの実証。
• ラベルなしで多様な画像パターンカテゴリを分類可能なスケーラブルで一般化可能な手法の提供。

提案手法

• バックプロパゲーションを用いて、圧縮された低次元コードから入力パターンを再構成するようにマルチレイヤーミラーニューラルネットワークを訓練する。
• 修正されたシグモイド活性化関数と小さなランダムな重み/バイアス初期化を用い、パターンのミラーリングを開始する。
• 再構成誤差を最小化するようにネットワークを訓練することで次元削減を達成し、入力ベクトルを元のサイズのおおよそ1/30に圧縮する。
• 中央の隠れ層の出力がクラスタリング用の低次元特徴表現として機能する。
• フォージのk-meansクラスタリングアルゴリズムを低次元特徴量に適用し、初期シードポイントを十分に離隔させることで、明確なクラスタ形成を保証する。
• 本手法は多様な画像パターンデータセットで訓練およびテストされ、分類精度と再構成忠実度を指標として評価された。

実験結果

リサーチクエスチョン

• RQ1 ミラーニューラルネットワークは、多様な画像パターンに対して非線形次元削減を効果的に行えるか？
• RQ2 ミラーネットワークから得られる圧縮特徴表現は、標準的手法に比べて優れた教師なしクラスタリングを可能にするか？
• RQ3 低次元コードから元の入力パターンをどれほど正確に再構成できるか？
• RQ4 フォージのアルゴリズムにおける初期シード選択戦略は、クラスタリング性能にどのような影響を及えるか？
• RQ5 本手法は、ラベルなしで異なる画像パターンカテゴリに一般化可能か？

主な発見

• マルチレイヤーミラーニューラルネットワークは、入力データを元のサイズの約1/30に圧縮しつつ、高い再構成精度を維持した。
• 低次元コードのみを用いても出力層で効果的なパターン再構成が達成され、強力な特徴保持が示された。
• フォージのアルゴリズムにおいて初期シードポイントを最大限に離隔させた戦略は、クラスタ分離性と分類性能を顕著に向上させた。
• 本手法は多様な画像パターンデータセットで優れた分類結果を示し、頑健性と一般化能力が確認された。
• 非線形次元削減と教師なしクラスタリングの統合により、教師あり手法の代替として実用的な手法が得られた。
• 本アプローチはスケーラブルであり、事前ラベルなしで一般化可能な画像パターン入力に適用可能である。