[논문 리뷰] Automatic Pattern Classification by Unsupervised Learning Using Dimensionality Reduction of Data with Mirroring Neural Networks

Dasika Ratna Deepthi, G. R. Aditya Krishna외 1명|ArXiv.org|2007. 12. 06.

Neural Networks and Applications참고 문헌 13인용 수 6

한 줄 요약

이 논문은 비선형 차원 축소를 위한 다층 반사 신경망을 사용한 비지도 패턴 분류 방법을 제안한다. 이후 포르지의 군집화 알고리즘을 적용한다. 신경망은 입력 데이터를 원래 크기의 약 1/30으로 압축하면서 복원 가능성을 유지하며, 압축된 특징은 이미지 패턴에서 개별 군집으로 분류되며 군집 성능이 향상된다.

ABSTRACT

This paper proposes an unsupervised learning technique by using Multi-layer Mirroring Neural Network and Forgy's clustering algorithm. Multi-layer Mirroring Neural Network is a neural network that can be trained with generalized data inputs (different categories of image patterns) to perform non-linear dimensionality reduction and the resultant low-dimensional code is used for unsupervised pattern classification using Forgy's algorithm. By adapting the non-linear activation function (modified sigmoidal function) and initializing the weights and bias terms to small random values, mirroring of the input pattern is initiated. In training, the weights and bias terms are changed in such a way that the input presented is reproduced at the output by back propagating the error. The mirroring neural network is capable of reducing the input vector to a great degree (approximately 1/30th the original size) and also able to reconstruct the input pattern at the output layer from this reduced code units. The feature set (output of central hidden layer) extracted from this network is fed to Forgy's algorithm, which classify input data patterns into distinguishable classes. In the implementation of Forgy's algorithm, initial seed points are selected in such a way that they are distant enough to be perfectly grouped into different categories. Thus a new method of unsupervised learning is formulated and demonstrated in this paper. This method gave impressive results when applied to classification of different image patterns.

연구 동기 및 목표

• 라벨이 없는 데이터로도 자동 패턴 분류가 가능한 비지도 학습 프레임워크를 개발하기 위해.
• 비선형 차원 축소 기법을 사용해 고차원 이미지 패턴 데이터를 압축하기 위해.
• 최대한으로 분리된 초기 중심점을 사용해 포르지 알고리즘의 초기 시드 포인트를 설정함으로써 군집 정확도를 향상시키기 위해.
• 압축 과정에서 구조적 정보를 유지하는 데에 반사 신경망의 효과를 입증하기 위해.
• 다양한 이미지 패턴 카테고리에 대해 일반화 가능하고 확장 가능한 방법을 제공하기 위해.

제안 방법

• 입력 패턴을 압축된 저차원 코드에서 재구성하기 위해 백프로파게이션을 사용해 다층 반사 신경망을 훈련시킨다.
• 수정된 시그모이드 활성화 함수와 작은 무작위 가중치/편향 초기화를 사용해 패턴의 반사를 유도한다.
• 재구성 오차를 최소화하도록 네트워크를 훈련시켜 입력 벡터를 원래 크기의 약 1/30으로 줄이는 방식으로 차원 축소를 달성한다.
• 중앙 히든 레이어의 출력이 군집을 위한 압축된 특징 표현으로 사용된다.
• 압축된 특징에 대해 포르지의 k-means 군집화 알고리즘을 적용하며, 초기 시드 포인트는 충분히 떨어져 있도록 선택되어 서로 다른 군집 형성을 보장한다.
• 성능 평가를 위해 다양한 이미지 패턴 데이터셋에서 방법을 훈련 및 테스트하며, 분류 정확도와 재구성 정밀도를 기준으로 평가한다.

실험 결과

연구 질문

• RQ1 반사 신경망은 다양한 이미지 패턴에 대해 비선형 차원 축소를 효과적으로 수행할 수 있는가?
• RQ2 반사 네트워크에서 유도된 압축된 특징 표현은 기존 방법에 비해 우수한 비지도 군집화 성능을 보일 수 있는가?
• RQ3 압축된 코드에서 원본 입력 패턴을 얼마나 잘 재구성할 수 있는가?
• RQ4 포르지 알고리즘의 초기 시드 선택 전략은 군집 성능에 어떤 영향을 미치는가?
• RQ5 제안된 방법은 라벨이 없는 상태에서 다양한 이미지 패턴 카테고리에 일반화될 수 있는가?

주요 결과

• 다층 반사 신경망은 입력 데이터를 원래 크기의 약 1/30으로 압축하면서도 높은 재구성 정확도를 유지했다.
• 저차원 코드만으로도 출력 레이어에서 효과적인 패턴 재구성을 달성하여 강력한 특징 보존 능력을 입증했다.
• 포르지 알고리즘에 최대한으로 분리된 초기 시드 포인트를 사용함으로써 군집 간 분리도와 분류 성능이 크게 향상되었다.
• 다양한 이미지 패턴 데이터셋에서 놀라운 분류 성능을 보이며 강건성과 일반화 능력을 입증했다.
• 비선형 차원 축소와 비지도 군집화의 통합은 지도 학습 기반 접근법에 대한 실용적인 대안을 제공했다.
• 이 방법은 확장 가능하며, 사전 라벨링 없이도 일반적인 이미지 패턴 입력에 적용 가능하다.