[논문 리뷰] Nonnegative autoencoder with simplified random neural network

Yonghua Yin, Erol Gelenbe|arXiv (Cornell University)|2016. 09. 25.

Advanced Memory and Neural Computing참고 문헌 27인용 수 7

한 줄 요약

이 논문은 간소화된 스파iking 랜덤 신경망(RNN) 모델을 사용한 새로운 비음성 오토인코더를 제안하며, 딥 러닝 아키텍처와 비음성 행렬 분해(NMF) 기반 학습 규칙을 융합하여 비음성 및 확률적 제약 조건을 강제한다. 이 방법은 MNIST, CIFAR-10 및 16개의 실세계 데이터셋에서 높은 재구성 정확도를 달성하였으며, 시뮬레이션을 통해 고도로 분산되고 병렬적으로 구현할 잠재력을 확인하였다.

ABSTRACT

This paper proposes new nonnegative (shallow and multi-layer) autoencoders by combining the spiking Random Neural Network (RNN) model, the network architecture typical used in deep-learning area and the training technique inspired from nonnegative matrix factorization (NMF). The shallow autoencoder is a simplified RNN model, which is then stacked into a multi-layer architecture. The learning algorithm is based on the weight update rules in NMF, subject to the nonnegative probability constraints of the RNN. The autoencoders equipped with this learning algorithm are tested on typical image datasets including the MNIST, Yale face and CIFAR-10 datasets, and also using 16 real-world datasets from different areas. The results obtained through these tests yield the desired high learning and recognition accuracy. Also, numerical simulations of the stochastic spiking behavior of this RNN auto encoder, show that it can be implemented in a highly-distributed manner.

연구 동기 및 목표

• 스파이킹 RNN 모델과 딥 프eed-포워드 아키텍처를 융합하여 향상된 표현 학습을 위한 비음성 오토인코더를 개발한다.
• 표준 경사 하강법을 사용할 수 없게 만드는 비음성 및 확률합 제약 조건 하에서 RNN 기반 오토인코더를 훈련하는 데 도전한다.
• NMF 기반 가중치 갱신 규칙과 확인-조정 절차를 적응시켜 RNN 제약 조건을 만족시키면서도 학습 효율성을 유지한다.
• 기본 이미지 데이터셋(MNIST, CIFAR-10, Yale Face)과 UCI에서 확보한 다양한 실세계 데이터셋에서 모델 성능을 검증한다.
• 스파이킹 행동 시뮬레이션을 통해 오토인코더가 고도로 분산되고 병렬적으로 구현 가능한지를 입증한다.

제안 방법

• 원래 RNN 방정식의 준선형 정 steady-state 해를 기반으로 유도된 간소화된 프eed-포워드 RNN 모델을 사용해 얕은 오토인코더를 구축한다.
• 연결 가중치의 비음성 조건을 강제하기 위해 NMF 기반 가중치 갱신 규칙을 적용하여 RNN의 확률적 발화 모델과의 호환성을 확보한다.
• 훈련 중에 확인-조정 메커니즘을 구현하여 어떤 신경망의 출력 전이 확률 합도 1을 초과하지 않도록 보장한다.
• 효율적인 최적화를 위해 배치 크기 50인 미니배치 처리를 적용한 확률적 경사 하강법(SGD)을 사용한다.
• RNN의 곱 형태 해를 사용해 정적 상태 활성화 확률을 해석적으로 계산함으로써 모델의 수치적 검증을 가능하게 한다.
• 입력 신경망의 포isson 스파이크 트레인을 모델링하고 시간에 따라 신경망 잠재력 추적을 통해 스파이크 행동을 시뮬레이션하며, 관측된 잠재력 평균을 통해 활성화 확률을 추정한다.

실험 결과

연구 질문

• RQ1 간소화된 RNN 모델이 깊은 프eed-포워드 아키텍처로 전환된 비음성 오토인코더로서 효과적으로 기능할 수 있는가?
• RQ2 NMF 기반 학습 규칙은 어떻게 RNN의 비음성 및 확률합 제약 조건을 충족시키도록 적응시킬 수 있는가?
• RQ3 제안된 오토인코더는 표준 이미지 및 실세계 데이터셋에서 높은 재구성 정확도를 달성하면서도 RNN 고유의 확률적이고 분산된 성질을 유지하는가?
• RQ4 RNN 오토인코더의 스파이킹 행동은 정확하게 시뮬레이션될 수 있으며, 시뮬레이션 결과는 수치적 정적 상태 예측과 일치하는가?
• RQ5 RNN의 스파이킹 동역학에 기반해 오토인코더는 어느 정도 고도로 분산되고 병렬적으로 실행될 수 있는가?

주요 결과

• 비음성 LRNN 오토인코더는 MNIST, CIFAR-10 및 Yale Face 데이터셋에서 높은 재구성 정확도를 달성하였으며, 반복 횟수에 따라 재구성 오차가 감소함을 확인하였다.
• 16개의 UCI 실세계 데이터셋에서 모델은 안정적인 수렴과 효과적인 표현 학습을 보였으며, 훈련 반복 과정에서 점차 감소하는 재구성 오차로 나타났다.
• 스파이크 행동의 시뮬레이션 결과는 정적 상태 방정식에서 도출된 수치적 결과와 밀도 있게 일치하여 모델의 일관성과 안정성을 검증하였다.
• 1,000,000개의 시뮬레이션 이벤트 이후, 은닉층과 출력층의 추정 활성화 확률(q_i)이 수치적으로 계산된 값과 매우 가까이 수렴하였다.
• 그림 4의 시각화 비교 결과, 모든 계층의 스파이크 시뮬레이션 결과가 시간에 따라 수치 예측과 일치함을 확인하였으며, 이는 신뢰할 수 있고 확장 가능한 행동을 의미한다.
• 결과적으로, 스파이크 동역학과 국소적 업데이트 메커니즘을 내재하고 있어 LRNN 오토인코더는 고도로 분산되고 병렬적으로 하드웨어로도 실행 가능한 잠재력을 확인하였다.