[논문 리뷰] Mapping Temporal Variables into the NeuCube for Improved Pattern Recognition, Predictive Modelling and Understanding of Stream Data

Enmei Tu, Nikola Kasabov외 1명|arXiv (Cornell University)|2016. 03. 17.

Neural Networks and Applications참고 문헌 28인용 수 6

한 줄 요약

이 논문은 시간적 패턴 인식, 조기 사건 예측 및 데이터 이해를 향상시키기 위해 NeuCube 스파iking 신경망 아키텍처에 시간 변수를 최적화된 그래프 기반으로 매핑하는 방법을 제안한다. 그래프 매칭, 스파이크 유사도 측정 및 적응형 인코딩을 활용하여, 기존의 방법과 무작위 매핑 대비 뛰어난 정확도(Challenge 2012에서 76.95%)를 달성하였으며, 자동화된 신경세포 클러스터 시각화를 통해 안정성과 해석 가능성도 향상시켰다.

ABSTRACT

This paper proposes a new method for an optimized mapping of temporal variables, describing a temporal stream data, into the recently proposed NeuCube spiking neural network architecture. This optimized mapping extends the use of the NeuCube, which was initially designed for spatiotemporal brain data, to work on arbitrary stream data and to achieve a better accuracy of temporal pattern recognition, a better and earlier event prediction and a better understanding of complex temporal stream data through visualization of the NeuCube connectivity. The effect of the new mapping is demonstrated on three bench mark problems. The first one is early prediction of patient sleep stage event from temporal physiological data. The second one is pattern recognition of dynamic temporal patterns of traffic in the Bay Area of California and the last one is the Challenge 2012 contest data set. In all cases the use of the proposed mapping leads to an improved accuracy of pattern recognition and event prediction and a better understanding of the data when compared to traditional machine learning techniques or spiking neural network reservoirs with arbitrary mapping of the variables.

연구 동기 및 목표

• 시간적 변수의 자동 최적 매핑을 가능하게 하여, 임의의 스트림 데이터에서 NeuCube의 성능을 향상시키는 것.
• 기존의 머신러닝 및 무작위 매핑 방법을 초월하여 시간 패턴 인식 및 조기 사건 예측 정확도를 향상시키는 것.
• 신경세포 활동 및 시냅스 진화의 자동 시각화를 통해 NeuCube 모델의 더 깊은 해석 가능성을 제공하는 것.
• 실세계 스트림 데이터에서 복잡한 시공간 동역학을 모델링하기 위한 확장성 있고 자기 적응형 프레임워크를 개발하는 것.
• 유전 알고리즘을 활용한 NeuCube 하이퍼파rameter의 종단 간 최적화를 통해 성능 향상과 사용성 향상을 달성하는 것.

제안 방법

• 시간적으로 유사한 입력 변수를 3D SNNcube 내 공간적으로 근접한 뉴런에 매핑하기 위해 가중치가 부여된 무방향 그래프 매칭 알고리즘을 사용한다. 이는 시간적 관계를 유지한다.
• 그래프 매칭 과정에서 이극성 및 단극성 스파이크 트레인의 유사도 측정으로 스파이크 밀도 상관계수와 최대 스파이크 일치도를 활용한다.
• 적응형 임계값 기반(ATB) 인코딩 방법은 신호 평균과 표준편차를 사용하여 스파이크 임계값을 동적으로 설정함으로써 신호 변화에 적응한다.
• 그래프 기반 준지도 학습 알고리즘은 스파이크 활동 또는 연결 가중치를 기반으로 SNNcube 내에서 신경세포 클러스터를 자동으로 식별하여 학습 동역학을 시각화한다.
• 유전 알고리즘이 모든 NeuCube 하이퍼파rameter(예: 스파이크 임계값, STDP 비율)를 동시에 최적화하여 최적의 성능을 달성한다.
• SNNcube는 STDP 유연성과 함께 확률적 누설 적분-화염 모델을 사용하여 비지도 방식으로 시공간 패턴을 학습한다.

실험 결과

연구 질문

• RQ1 SNNcube에 시간 변수를 그래프 기반으로 매핑함으로써 스트림 데이터에서 패턴 인식 및 조기 예측 정확도를 향상시킬 수 있는가?
• RQ2 안정성과 성능 측면에서 제안된 매핑 방식이 무작위 또는 히우리스틱 매핑 방식보다 어떻게 비교되는가?
• RQ3 SNNcube 내에서 자동으로 신경세포 클러스터를 탐지함으로써 학습된 시공간 패턴의 해석 가능성과 이해도가 향상되는가?
• RQ4 실세계 데이터에서 신호 변화에 대한 저항성을 향상시키기 위해 적응형 인코딩이 NeuCube에 얼마나 기여하는가?
• RQ5 유전 알고리즘을 활용한 통합 최적화 프레임워크가 모든 NeuCube 파rameter를 효과적으로 조정하여 최적의 성능을 달성할 수 있는가?

주요 결과

• 제안된 그래프 기반 매핑은 Challenge 2012 경연 대회 데이터셋에서 분류 정확도 76.95%를 달성하여 최고의 베이스라인 방법(51.6% with GAK)을 크게 뛰어넘었다.
• 10회의 실행 평균 오차율은 그래프 기반 매핑이 무작위 매핑보다 낮았고, 표준편차도 작아 안정성이 높음을 시사했다.
• 생리적 스트림 데이터를 활용하여 환자의 수면 단계 전환을 더 이르고 정확하게 예측할 수 있었다.
• 샌프란시스코 베이 지역의 교통 패턴 인식 과제에서 입력 변수의 최적화된 공간적 매핑 덕분에 동적 시간 패턴 탐지 능력이 향상되었다.
• 그래프 기반 준지도 학습 알고리즘이 SNNcube 내에서 신경세포 클러스터를 성공적으로 식별하여 학습 동역학과 모델 구조에 대한 시각적 통찰을 제공했다.
• 유전 알고리즘 최적화를 통해 최적의 파rameter(스파이크 임계값 0.800, 발화 임계값 0.500, STDP 비율 0.073, 재설정 시간 6)를 성공적으로 도출하여 최고 성능을 달성했다.