[논문 리뷰] A Study of Parallel Self-Organizing Map

Li Weigang|ArXiv.org|1998. 08. 17.

Neural Networks and Applications참고 문헌 32인용 수 22

한 줄 요약

이 논문은 코호넨의 SOM을 병렬 아키텍처로 재구성하여 입력 요소의 수(M)와 분류 가능성의 수(P)의 곱으로 스케일링된 입력/출력 계층을 갖는 병렬 자기조직화 맵(Parallel-SOM)을 제안한다. 변환 및 연산 행렬을 통해 유클리드 거리를 계산하고, 동시에 최소 거리를 찾기 위해 그로버의 양자 검색을 적용함으로써, 기존 SOM과 동일한 수렴성을 확보하면서도 시간 및 공간 복잡도를 감소시킨다. 특히 양자 계산 환경에서 뉴런 수가 지수적으로 감소하므로 실용적인 가능성을 지닌다.

ABSTRACT

A Parallel Self-Organizing Map (Parallel-SOM) is proposed to modify Kohonen's SOM in parallel computing environment. In this model, two separate layers of neurons are connected together. The number of neurons in both layers and connections between them is the product of the number of all elements of input signals and the number of possible classification of the data. With this structure the conventional repeated learning procedure is modified to learn just once. The once learning manner is more similar to human learning and memorizing activities. During training, weight updating is managed through a sequence of operations among some transformation and operation matrices. Every connection between neurons of input/output layers is considered as a independent processor. In this way, all elements of the Euclidean distance matrix and weight matrix are calculated simultaneously. The minimum distance of every line of distance matrix can be found by Grover's search algorithm. This synchronization feature improves the weight updating sequence significantly. With a typical classification example, the convergence result demonstrates efficient performance of Parallel-SOM. Theoretic analysis and proofs also show some important properties of proposed model. Especially, the paper proves that Parallel-SOM has the same convergence property as Kohonen's SOM, but the complexity of former is reduced obviously.

연구 동기 및 목표

• 반복 학습에 의존하지 않고 인간의 한 번의 학습 및 기억 저장 방식을 모방하는 자기조직화 맵 모델을 개발하는 것.
• 기존 SOM의 순차적 처리의 비효율성을 해결하기 위해 병렬적 가중치 갱신과 경쟁적 학습을 가능하게 하는 것.
• 초기화된 양자 계산 환경에서의 구현 가능성과 이점을 탐색하기 위해 양자 중첩과 양자 병렬 처리를 활용하는 것.
• 제안된 Parallel-SOM이 코호넨의 원래 SOM과 동일한 수렴 성질을 유지하면서도 계산 복잡도를 감소시킬 수 있음을 입증하는 것.
• MATLAB을 통한 구현과 이론적 분 析를 통해 분류 작업에서의 효율성을 입증하는 것.

제안 방법

• 모델은 두 층의 뉴런을 사용하며, 각 층의 뉴런 수와 상호 연결 수는 입력 신호 요소의 수(M)와 가능한 분류 수(P)의 곱인 M×P와 같다.
• 가중치 갱신은 변환 및 연산 행렬의 순서를 통해 이루어지며, 유클리드 거리 및 가중치 행렬의 모든 요소를 동시에 계산할 수 있도록 한다.
• 거리 행렬의 각 행에 대한 최소 거리는 그로버의 양자 검색 알고리즘을 사용하여 찾으며, 이로 인해 검색 복잡도가 O(T×P^1/2)로 감소한다.
• 학습 절차는 기존 SOM의 반복 학습 루프와는 대조적으로 입력 데이터를 한 번만 통과하는 것으로 수정된다.
• 입력 신호가 양자 상태로 표현되어 M×P개의 뉴런에서 log₂(M×P)개의 큐비트로 감소하므로, 양자 계산 환경과 호환되도록 아키텍처가 설계되었다.
• 양자 자기조직화 맵(QuSOM)을 위한 게이트 어레이 구조를 제안하며, 가중치 연산자, 거리 연산자, 최소 거리 오라클, 정보 추출 가능성을 위한 관측 장치를 포함한다.

실험 결과

연구 질문

• RQ1 반복 학습 반복 없이 인간의 기억 저장 방식과 유사한 한 번의 학습을 지원하는 자기조직화 맵를 재구성할 수 있는가?
• RQ2 병렬 컴퓨팅을 어떻게 활용하여 자기조직화 맵에서 모든 유클리드 거리와 가중치를 동시에 계산하고 갱신할 수 있는가?
• RQ3 제안된 Parallel-SOM 모델의 계산 복잡도는 기존 SOM과 비교해 어떻게 되며, 양자 계산 환경에서는 추가로 감소시킬 수 있는가?
• RQ4 제안된 모델이 새로운 병렬 및 한 번의 학습 프레임워크 하에서 코호넨의 원래 SOM의 수렴 성질을 유지하는가?
• RQ5 양자 계산은 특히 대규모 데이터에 대해 이러한 병렬 SOM을 구현하기 위한 자원(뉴런 수)을 크게 줄일 수 있는가?

주요 결과

• Parallel-SOM 모델은 논문에서 철학적으로 엄밀하게 증명된 바와 같이, 코호넨의 원래 SOM과 동일한 수렴 행동을 보이며 이론적 신뢰성을 확보한다.
• 시간 및 공간 복잡도가 기존 SOM에 비해 상당히 감소하였으며, 특히 양자 계산 환경에서의 구현에서 두드러진다.
• 양자 계산 환경에서는 필요한 뉴런 수가 M×P에서 log₂(M×P)로 감소하므로, M=1,000,000, P=100일 경우 기존의 1억 개의 고전적 뉴런 대신 27 큐비트만으로도 충분하다.
• M=4개의 입력 요소, N=2개의 벡터, P=2개의 프로토타입을 가진 테스트 케이스에서는 각 층에 16개의 뉴런이 필요하며, 이는 SOM보다 네 배 더 많지만, 양자 환경에서는 실현 가능하고 효율적이다.
• 거리 행렬에서 최소 거리를 찾기 위해 그로버의 검색 알고리즘을 사용함으로써 검색 복잡도가 O(T×P^1/2)로 감소하여, 경쟁적 학습 단계의 효율성이 향상된다.
• 모델은 기상 위성 영상 분류 및 동전 세는 작업에 대해 MATLAB을 통해 성공적으로 구현되었으며, 고전적 계산 환경에서도 실용성과 효율성을 입증하였고, 향후 양자 가속화 가능성이 있다.