[논문 리뷰] Biologically inspired sleep algorithm for artificial neural networks

Giri P. Krishnan, Timothy Tadros외 2명|arXiv (Cornell University)|2019. 08. 01.

Robotic Path Planning Algorithms인용 수 10

한 줄 요약

이 논문은 인공신경망(ANN)의 연속학습과 일반화 능력을 향상시키기 위해 생물학적으로 영감을 얻은 수면 알고리즘을 제안한다. 이 알고리즘은 ANN를 스파iking 신경망(SNN)으로 변환하고, 노이즈가 많고 활동도가 높은 입력을 사용하여 시냅스 시계열 의존성 가소성(STDP)를 활용해 오프라인 수면 유사 단계를 시뮬레이션한 후, 다시 ANN로 변환한다. 이 방법은 치명적 기억상실을 감소시키며, 노이즈가 섞이거나 흐릿한 입력에 대한 강건성도 향상시키고, 기존에 학습하지 않은 과제에 대해도 전방 전이학습을 가능하게 한다.

ABSTRACT

Sleep plays an important role in incremental learning and consolidation of memories in biological systems. Motivated by the processes that are known to be involved in sleep generation in biological networks, we developed an algorithm that implements a sleep-like phase in artificial neural networks (ANNs). After initial training phase, we convert the ANN to a spiking neural network (SNN) and simulate an offline sleep-like phase using spike-timing dependent plasticity rules to modify synaptic weights. The SNN is then converted back to the ANN and evaluated or trained on new inputs. We demonstrate several performance improvements after applying this processing to ANNs trained on MNIST, CUB200 and a motivating toy dataset. First, in an incremental learning framework, sleep is able to recover older tasks that were otherwise forgotten in the ANN without sleep phase due to catastrophic forgetting. Second, sleep results in forward transfer learning of unseen tasks. Finally, sleep improves generalization ability of the ANNs to classify images with various types of noise. We provide a theoretical basis for the beneficial role of the brain-inspired sleep-like phase for the ANNs and present an algorithmic way for future implementations of the various features of sleep in deep learning ANNs. Overall, these results suggest that biological sleep can help mitigate a number of problems ANNs suffer from, such as poor generalization and catastrophic forgetting for incremental learning.

연구 동기 및 목표

• 인공신경망에서 연속학습 과정 중 치명적 기억상실 문제를 해결하기 위해.
• 노이즈가 섞이거나 손상된 입력(예: 흐릿하거나 노이즈가 섞인 이미지)에 대한 ANN의 일반화 능력을 향상시키기 위해.
• 명시적 재학습 없이도 학습하지 않은 관련 과제에 대해 전방 전이학습을 가능하게 하기 위해.
• 스파iking 동역학과 STDP를 활용해 ANN에 생물학적으로 타당한 수면 메커니즘을 구현하기 위해.
• 기존의 리허설 또는 정규화 기반 지속적 학습 방법에 비해 확장 가능하고 메모리 효율적인 대안을 제공하기 위해.

제안 방법

• ReLU 활성화 함수를 사용하는 훈련된 인공신경망(ANN)을 오프라인 처리를 위해 스파킹 신경망(SNN)으로 변환하기.
• 저장된 패턴을 재활성화하기 위해 내재적 활동을 증가시키고 노이즈가 많은 입력을 사용하여 SNN에서 수면 유사 단계를 시뮬레이션하기.
• 비지도 STDP를 사용해 수면 단계 동안 시냅스 가중치를 수정함으로써 생물학적 기억 정착을 모방하기.
• 수정된 SNN를 다시 ANN로 변환하고 새로운 과제에서 평가하거나 계속 훈련하기.
• 초기 역전파 훈련 이후, 새로운 과제 학습 이전에 수면 단계를 적용하여 기억 유지 및 일반화를 가능하게 하기.
• 성능 검증을 위해 MNIST, CUB200 및 토이 데이터셋을 사용하여 다양한 과제와 입력 왜곡 상황에서의 성능을 평가하기.

실험 결과

연구 질문

• RQ1 생물학적으로 영감을 얻은 수면 단계가 연속학습 과정에서 ANN의 치명적 기억상실을 줄일 수 있는가?
• RQ2 SNN에서 수면을 시뮬레이션하면 ANN의 노이즈가 섞이거나 손상된 입력에 대한 일반화 능력이 향상되는가?
• RQ3 수면 단계는 학습하지 않은 관련 과제에 대해 전방 전이학습을 가능하게 하는가?
• RQ4 기존의 리허설 또는 정규화 기법과 비교할 때 수면 메커니즘의 기억 효율성과 성능은 어떠한가?
• RQ5 수면 동안의 확률적 네트워크 동역학이 표현 일반화를 향상시키는 데 어떤 역할을 하는가?

주요 결과

• 수면 알고리즘이 치명적 기억상실을 크게 감소시켜, 새로운 훈련 이후 이전에 학습한 과제의 성능을 복구시켰다.
• 수면 이후, 노이즈가 섞이고 흐릿한 MNIST 이미지의 분류 정확도가 약 20%에서 50%로 향상되었다.
• 네트워크는 명시적 훈련 없이도 학습하지 않은 관련 과제에서 성능 향상을 보이며 전방 전이학습을 수행했다.
• 원래 훈련 데이터나 생성 모델을 저장할 필요 없이도 입력 왜곡에 대한 일반화 능력이 향상되었다.
• 수면은 적대적 공격에 대한 저항성을 높여주었으며, 후속 분석에서 이를 확인했다.
• 기존 ANN 기반의 기준 대비, 오래된 과제에 대한 기능적 연결 유지 능력이 향상되어 잊혀진 지식의 부분적 유지가 가능하다는 점을 시사했다.