[論文レビュー] Dimensionality Reduction and Reconstruction using Mirroring Neural Networks and Object Recognition based on Reduced Dimension Characteristic Vector

Dasika Ratna Deepthi, Sujeet Kuchibhotla+1 more|ArXiv.org|Dec 6, 2007

Neural Networks and Applications参考文献 7被引用数 4

ひとこと要約

本論文は、非線形次元削減および再構成を可能にするミラーリングニューラルネットワーク（MNN）アーキテクチャを提案し、低次元特徴ベクトルを用いた対象認識を実現する。ネットワークは外層に多数のニューロンを有する収束・発散構造を採用し、入力パターンの再構成を目的とした平均二乗誤差の誤差逆伝播による学習を実施する。このアプローチにより、分類に有用な特徴を保持したまま効果的な次元削減が達成される。

ABSTRACT

In this paper, we present a Mirroring Neural Network architecture to perform non-linear dimensionality reduction and Object Recognition using a reduced lowdimensional characteristic vector. In addition to dimensionality reduction, the network also reconstructs (mirrors) the original high-dimensional input vector from the reduced low-dimensional data. The Mirroring Neural Network architecture has more number of processing elements (adalines) in the outer layers and the least number of elements in the central layer to form a converging-diverging shape in its configuration. Since this network is able to reconstruct the original image from the output of the innermost layer (which contains all the information about the input pattern), these outputs can be used as object signature to classify patterns. The network is trained to minimize the discrepancy between actual output and the input by back propagating the mean squared error from the output layer to the input layer. After successfully training the network, it can reduce the dimension of input vectors and mirror the patterns fed to it. The Mirroring Neural Network architecture gave very good results on various test patterns.

研究の動機と目的

• 非線形次元削減を可能にするとともに、入力パターンの情報を保持できるニューラルネットワークアーキテクチャの開発。
• 低次元表現から元の高次元入力を再構成することの実現。
• 圧縮された表現を安定した対象シグネチャとして用い、頑健なパターン分類を可能にすること。
• 出力層から入力層へ向かう平均二乗誤差の誤差逆伝播を用いたネットワークの学習。
• 多様なテストパターンを用いた次元削減および対象認識の性能評価。

提案手法

• ミラーリングニューラルネットワークは、外層に最多のアダリン（adalines）を有する収束・発散構造を特徴とし、中央層に最少のニューロンを有する。
• ネットワークは、再構成出力と元の入力ベクトルとの平均二乗誤差を最小化するように学習される。
• 重みの調整を目的とした誤差逆伝播が、出力層から入力層へと適用され、再構成の正確性が向上する。
• 中央層の出力は、入力パターンを表す低次元特徴ベクトルとして機能する。
• 学習後、この特徴ベクトルが対象認識のシグネチャとして使用される。
• このアーキテクチャは、次元削減および入力パターンの完全な再構成を両立可能とする。

実験結果

リサーチクエスチョン

• RQ1 ニューラルネットワークアーキテクチャは、正確な元入力の再構成を可能にしつつ、効果的な非線形次元削減を実現できるか？
• RQ2 ネットワーク中央層から導出される低次元特徴ベクトルは、対象認識タスクをどの程度効果的にサポートできるか？
• RQ3 非対称な層分布を持つミラーリング構造は、標準的なオートエナボーダと比較して再構成性能および特徴抽出性能を向上させるか？
• RQ4 MNNの性能は、多様なテストパターンにおいて再構成誤差および分類精度の観点でどの程度の水準にあるか？
• RQ5 異なる入力パターンに対して一般化可能でありつつ、低次元表現の忠実度を維持できるか？

主な発見

• ミラーリングニューラルネットワークは、中央層の低次元表現から入力パターンを高品質に再構成した。
• 中央層から抽出した低次元特徴ベクトルは、対象認識の有効なシグネチャとして機能した。
• 多様なテストパターンにおいて優れた性能を示し、入力の変動に対して頑健であることが示された。
• 平均二乗誤差の誤差逆伝播により、ネットワークは再構成誤差を効果的に最小化した。
• 収束・発散構造により、次元削減過程における特徴抽出および情報保持が強化された。
• 分類タスクに適した安定的かつコンactな表現が得られた。