[논문 리뷰] Unsupervised Regenerative Learning of Hierarchical Features in Spiking Deep Networks for Object Recognition

Priyadarshini Panda, Kaushik Roy|arXiv (Cornell University)|2016. 02. 03.

Advanced Memory and Neural Computing참고 문헌 23인용 수 4

한 줄 요약

이 논문은 자동에코더-디코더 원리를 사용하여 계층적 특징을 계층적으로 학습하는, 스파iking 딥 네트워크를 위한 비지도 재생 학습 프레임워크를 제안한다. 이 프레임워크는 스파이크 타이밍과 내재된 지연 시간을 활용하여 스파이크 타이밍 기반의 가중치 업데이트를 수행한다. 이로 인해 MNIST와 CIFAR-10에서 각각 0.92% 및 29.84%의 분류 오차를 달성하였으며, 희박하고 이벤트 기반의 표현 방식 덕분에 효율적인 계산이 가능하다.

ABSTRACT

We present a spike-based unsupervised regenerative learning scheme to train Spiking Deep Networks (SpikeCNN) for object recognition problems using biologically realistic leaky integrate-and-fire neurons. The training methodology is based on the Auto-Encoder learning model wherein the hierarchical network is trained layer wise using the encoder-decoder principle. Regenerative learning uses spike-timing information and inherent latencies to update the weights and learn representative levels for each convolutional layer in an unsupervised manner. The features learnt from the final layer in the hierarchy are then fed to an output layer. The output layer is trained with supervision by showing a fraction of the labeled training dataset and performs the overall classification of the input. Our proposed methodology yields 0.92%/29.84% classification error on MNIST/CIFAR10 datasets which is comparable with state-of-the-art results. The proposed methodology also introduces sparsity in the hierarchical feature representations on account of event-based coding resulting in computationally efficient learning.

연구 동기 및 목표

• 생물학적으로 타당한 비지도 학습 방법을 개발하여 객체 인식에서 계층적 특징을 포착한다.
• 딥 스파이킹 네트워크에서 이벤트 기반 코딩을 통해 희박하고 효율적인 특징 표현을 가능하게 한다.
• 백프로파게이션을 요구하지 않고 스파이크 타이밍과 내재된 신경세포 지연 시간을 기반으로 한 재생 학습을 통한 가중치 업데이트를 통합한다.
• 최소한의 지도 학습 피니팅을 통한 비지도 사전학습을 조합하여 분류 정확도를 향상시킨다.
• 생물학적으로 현실적인 뉴런만을 사용하여 표준 벤치마크인 MNIST와 CIFAR-10에서 경쟁 가능한 성능을 달성한다.

제안 방법

• 신경세포의 생물학적 스파이크 행동을 시뮬레이션하기 위해 누설 적분-화염(LIF) 뉴런을 사용한다.
• 각 컨볼루션 레이어가 인코딩된 특징에서 입력을 재구성하도록 하는 계층별 자동에코더-디코더 학습 체계를 적용한다.
• 스파이크 타이밍과 내재된 신경세포 지연 시간을 기반으로 한 재생 학습이 시냅스 가중치를 업데이트하여 비지도 특징 학습을 가능하게 한다.
• 스파이크 기반 코딩이 특징 표현의 희박성을 도입하여 계산 부담을 감소시킨다.
• 최종 계층적 표현은 소량의 레이블 데이터로 훈련된 지도 학습 출력 레이어에 입력된다.
• 비지도 사전학습과 최소한의 지도 피니팅을 조합하여 분류를 달성한다.

실험 결과

연구 질문

• RQ1 스파이크 타이밍과 지연 시간은 깊이 있는 스파이킹 네트워크를 비지도 방식으로 학습하는 데 효과적으로 활용될 수 있는가?
• RQ2 스파이킹 네트워크에서 재생 자동에코더-디코더 프레임워크를 통해 계층적 특징을 얼마나 잘 학습할 수 있는가?
• RQ3 이벤트 기반 코딩과 희박성은 깊이 있는 스파이킹 네트워크에서 계산 효율성을 얼마나 향상시키는가?
• RQ4 비지도 사전학습 후 소량의 레이블 데이터만을 사용하여 MNIST와 CIFAR-10에서 어떤 분류 정확도를 달성할 수 있는가?
• RQ5 이 생물학적으로 영감을 받은 방법은 표준 벤치마크에서 최신 기술 수준의 딥 러닝 모델과 비교해 어떻게 성능를 발휘하는가?

주요 결과

• 제안된 방법은 MNIST 데이터셋에서 0.92%의 분류 오차를 달성하여 최신 기술 수준의 성능에 근접한다.
• CIFAR-10 데이터셋에서는 29.84%의 분류 오차를 기록하여 최소한의 지도 학습으로도 강력한 일반화 성능를 보였다.
• 이벤트 기반 스파이크 코딩 덕분에 네트워크는 희박하고 계층적인 표현을 학습하여 계산 효율성을 향상시켰다.
• 스파이크 타이밍과 지연 시간을 기반으로 한 재생 학습을 통해 백프로파게이션 없이도 효과적인 비지도 가중치 업데이트가 가능했다.
• 비지도 사전학습과 소량의 레이블 데이터를 사용한 지도 피니팅의 조합은 낮은 레이블 비용으로도 높은 정확도를 달성했다.
• 모델는 생물학적으로 타당한 학습 메커니즘이 표준 객체 인식 작업에서 경쟁 가능한 성능를 낼 수 있음을 보여주었다.