[논문 리뷰] Node Perturbation Can Effectively Train Multi-Layer Neural Networks

Sander Dalm, Marcel van Gerven외 1명|arXiv (Cornell University)|2023. 10. 02.

Neural Networks and Applications인용 수 4

한 줄 요약

이 논문은 방향 도함수와 계층별 입력 비상관화를 결합한 노드 편향(NP)을 사용하여 깊은 신경망을 훈련시키는 생물학적으로 타당한 새로운 방법을 제안한다. NP를 반복적인 방향 도함수 갱신으로 재구성하고, 기울기 공분산을 줄이기 위해 비상관화를 적용함으로써, 백프로파게이션과 경쟁 가능한 훈련 속도를 달성하였으며, 노이즈가 있거나 미분 불가능한 시스템에서도 성능을 발휘한다.

ABSTRACT

Backpropagation (BP) remains the dominant and most successful method for training parameters of deep neural network models. However, BP relies on two computationally distinct phases, does not provide a satisfactory explanation of biological learning, and can be challenging to apply for training of networks with discontinuities or noisy node dynamics. By comparison, node perturbation (NP), also known as activity-perturbed forward gradients, proposes learning by the injection of noise into network activations, and subsequent measurement of the induced loss change. NP relies on two forward (inference) passes, does not make use of network derivatives, and has been proposed as a model for learning in biological systems. However, standard NP is highly data inefficient and can be unstable due to its unguided noise-based search process. In this work, we develop a modern perspective on NP by relating it to the directional derivative and incorporating input decorrelation. We find that a closer alignment with directional derivatives together with input decorrelation at every layer theoretically and practically enhances performance of NP learning with large improvements in parameter convergence and much higher performance on the test data, approaching that of BP. Furthermore, our novel formulation allows for application to noisy systems in which the noise process itself is inaccessible, which is of particular interest for on-chip learning in neuromorphic systems.

연구 동기 및 목표

• 깊은 신경망 훈련에서 표준 노드 편향(NP)의 비효율성과 불안정성을 해결한다.
• 방향 도함수를 사용한 이론적으로 탄탄한 NP의 재구성 방식을 개발하여 학습 안정성과 수렴성을 향상시킨다.
• 청정 네트워크 통과에 접근할 필요가 없는 노이즈에 강건한 업데이트 규칙인 활동 기반 노드 편향(DANP)을 제안한다.
• 계층별 입력 비상관화를 통해 NP 성능을 향상시켜 업데이트 공분산을 줄이고 신뢰도 할당을 개선한다.
• 노이즈가 내재적이고 측정 불가능한 시스템, 예를 들어 뉴모르픽 하드웨어나 생물학적 신경망과 같은 환경에서도 효과적인 훈련을 가능하게 한다.

제안 방법

• 노드 편향을 반복적인 방향 도함수 갱신으로 재구성함으로써 더 안정적이고 이론적으로 탄탄한 학습 규칙을 제공한다.
• 청정 네트워크 평가가 필요 없는 활동 기반 노드 편향(DANP)을 제안하며, 오직 노이즈가 있는 전방 전파만을 사용해 가중치 갱신을 계산한다.
• 입력 특성 간 상관관계를 줄이기 위해 계층별 활성화에 비상관화 기법을 적용하여 NP 갱신의 편향을 최소화한다.
• 각 계층의 활성화에 백색화 변환(예: ZCA 또는 PCA 기반)을 적용하여 입력을 비상관화하고 학습 효율성을 향상시킨다.
• 방향 도함수 기반 갱신과 비상관화된 입력을 조합하여 가중치 갱신의 변동성을 줄이고 수렴 속도를 높인다.
• 완전 연결 네트워크에 이 방법을 구현하고, CIFAR-10에서 표준 NP 및 백프로파게이션과의 성능을 비교 평가한다.

실험 결과

연구 질문

• RQ1 노드 편향이 방향 도함수를 사용하여 재구성될 수 있는가? 이는 딥러닝에서 안정성과 수렴성을 향상시키는가?
• RQ2 활동 기반 노드 편향(DANP)은 청정 네트워크 통과에 접근할 필요 없이 효과적인 학습을 가능하게 하는가?
• RQ3 계층별 입력 비상관화가 NP 갱신의 공분산을 어느 정도 감소시키며, 훈련 속도 향상에 기여하는가?
• RQ4 NP 기반 훈련이 표준 비전 벤치마크에서 백프로파게이션 성능과 경쟁 가능한가?
• RQ5 뉴모르픽 하드웨어나 생물학적 네트워크와 같은 노이즈가 내재적이고 측정 불가능한 시스템에서 제안된 방법은 어떻게 확장되는가?

주요 결과

• 방향 도함수와 입력 비상관화를 조합한 제안된 방법은 표준 노드 편향보다 훈련 수렴 속도가 수개월 이상 빠르게 한다.
• 활동 기반 노드 편향(DANP)은 청정 통과 기반 NP와 거의 동일한 성능를 보이며, 노이즈가 많은 환경에서는 청정 네트워크 통과가 거의 이득을 주지 못한다는 것을 시사한다.
• 계층별 비상관화가 NP 갱신의 공분산을 크게 감소시켜 더 안정적이고 효율적인 학습을 가능하게 한다.
• 3층 완전 연결 네트워크를 사용한 CIFAR-10에서 제안된 방법은 백프로파게이션과 경쟁 가능한 훈련 세트 성능을 달성한다.
• 노이즈가 내재적이고 측정 불가능한 시스템, 예를 들어 정밀도가 떨어지는 하드웨어나 생물학적 신경 시스템에서도 효과적인 학습이 가능하다.
• 향상된 훈련 속도에도 불구하고, NP로 훈련된 모델은 약간 낮은 테스트 정확도를 보이며, 이는 비상관화 유도 데이터 백색화와 관련된 과적합 효과일 수 있음을 시사한다.