[논문 리뷰] Deep Learning in Multi-Layer Architectures of Dense Nuclei

Yonghua Yin, Erol Gelenbe|arXiv (Cornell University)|2016. 09. 22.

Advanced Memory and Neural Computing참고 문헌 22인용 수 16

한 줄 요약

이 논문은 깊이 있는 신경망 집합에서 시냅스 외부의 세타에서 세타로 전달되는 상호작용을 통합한 새로운 다층 아키텍처(MLA)를 제안한다. 이는 다중채널 반복 랜덤 신경망(MCRNN-MLA)을 사용하여 깊이 학습 성능을 향상시킨다. 반복 스파iking 뉴런을 시냅스적 상호작용과 직접적인 세타에서 세타로 전달되는 통신 방식으로 모델링함으로써, CNN 및 MLP와 비교해 훨씬 빠른 훈련 시간을 기록하면서도 다중채널 이미지 및 센서 데이터셋에서 최신 기술 수준의 분류 정확도를 달성한다.

ABSTRACT

We assume that, within the dense clusters of neurons that can be found in nuclei, cells may interconnect via soma-to-soma interactions, in addition to conventional synaptic connections. We illustrate this idea with a multi-layer architecture (MLA) composed of multiple clusters of recurrent sub-networks of spiking Random Neural Networks (RNN) with dense soma-to-soma interactions, and use this RNN-MLA architecture for deep learning. The inputs to the clusters are first normalised by adjusting the external arrival rates of spikes to each cluster. Then we apply this architecture to learning from multi-channel datasets. Numerical results based on both images and sensor based data, show the value of this novel architecture for deep learning.

연구 동기 및 목표

• 대규모 뉴런 네트워크에서 딥러닝의 증가하는 계산 및 메모리 요구량을 해결하기 위해.
• 뇌의 밀집된 핵에서 세타에서 세타로 전달되는 상호작용의 생물학적 타당성을 탐색하여 시냅스 전달 방식의 대체 또는 보완으로 삼기 위해.
• 낮은 훈련 시간으로도 높은 정확도를 유지하는 확장 가능한 딥러닝 아키텍처를 개발하기 위해.
• 이러한 아키텍처의 성능을 이미지 및 실제 센서에서 온 다중채널 데이터셋에서 평가하기 위해.
• 세타에서 세타로 전달되는 상호작용이 깊이 학습 스파이킹 신경망에서 학습 효율성과 분류 정확도를 향상시키는지 입증하기 위해.

제안 방법

• 각 층이 다수의 밀집 핵으로 구성된 다층 구조를 사용하며, 각 핵은 반복 스파이킹 랜덤 신경망(RNN)으로 모델링된다.
• 각 핵은 기존의 시냅스 연결 외에도 새로운 세타에서 세타로 전달되는 상호작용을 활용하여 동일한 군집 내 뉴런 간 직접 통신을 가능하게 한다.
• 외부 입력은 각 군집에 도착하는 스파이크 빈도 조절을 통해 정규화되어 안정적인 활성화 수준을 확보한다.
• 뉴런의 활성화 확률 q 는 세타에서 세타로 전달되는 상호작용를 고려한 수정된 RNN 식을 사용하여 유도되며, 동질 조건 하에서 q = λ⁺ / (r + λ⁻) 를 만족한다.
• 각 핵에서 다음 층으로 억제성 투사가 이루어지는 피드포워드 계층 간 구조를 사용하여 계층적 특징 추출을 가능하게 한다.
• 다중채널 데이터셋을 사용하여 아키텍처를 최적화하는 훈련 알고리즘을 적용하며, 분류 정확도 및 훈련 시간을 통해 성능을 평가한다.

실험 결과

연구 질문

• RQ1 밀집된 뉴런 군집 내에서 세타에서 세타로 전달되는 상호작용이 스파이킹 신경망에서 딥러닝 성능을 향상시킬 수 있는가?
• RQ2 직접적인 뉴런 간 통신이 다중채널 데이터셋에서 분류 정확도와 훈련 효율성에 어떤 영향을 미치는가?
• RQ3 MCRNN-MLA 아키텍처가 다중채널 이미지 및 센서 데이터에서 표준 딥러닝 모델(CNN 및 MLP)을 능가하는가?
• RQ4 제안된 아키텍처 수정이 정확도를 유지하거나 향상시키면서 훈련 시간을 얼마나 줄이는가?
• RQ5 세타에서 세타로 전달되는 상호작용이 포함된 RNN-MLA 프레임워크가 이러한 상호작용이 없는 원래의 RNN-MLA보다 더 효과적인가?

주요 결과

• MCRNN-MLA는 모든 데이터셋에서 가장 높은 테스트 정확도를 기록했으며, TGSA 데이터셋의 Task 1에서 98.32%, Task 2에서 92.25%의 정확도를 달성했다.
• TGSA 데이터셋의 Task 2에서 MCRNN-MLA는 CNN보다 약 127배 더 빠른 훈련 속도를 기록하여 훨씬 뛰어난 훈련 효율성을 입증했다.
• 향상된 RNN-MLA는 [5]에서 제시한 원래의 RNN-MLA를 초월하여, TGSA 데이터셋의 Task 1에서 97.03%의 정확도, Task 2에서 87.06%의 정확도를 기록했다.
• NORB 데이터셋에서 MCRNN-MLA는 92.10%의 정확도를 기록했으며, 드롭아웃 기반 최고 성능의 CNN 및 MLP를 뛰어넘었다.
• MCRNN-MLA1 버전은 TGSA 데이터셋의 Task 1에서 98.61%의 정확도를 기록하여 센서 어레이 전반에 걸친 강력한 일반화 능력을 보였다.
• 간소화된 버전인 MCRNN-MLA2는 Task 1에서 여전히 94.75%의 정확도를 기록하여 아키텍처 단순화에도 불구하고 뛰어난 내구성을 보였다.