[논문 리뷰] Leader-Follower Neural Networks with Local Error Signals Inspired by Complex Collectives

Chenzhong Yin, Mingxi Cheng외 5명|arXiv (Cornell University)|2023. 10. 11.

Neural Networks and Reservoir Computing인용 수 4

한 줄 요약

이 논문은 생물학적으로 타당한 딥러닝 아키텍처인 리더-팔로워 신경망(LFNN)을 제안한다. 여기서 계층적 구조 내의 리더와 팔로워는 국소적 오차 신호를 사용해 훈련되며, 이로 인해 전역적 역전파가 필요 없어진다. LFNN-ℓ는 역전파 없이도 MNIST, CIFAR-10, ImageNet에서 최신 기준 성능을 달성하여 이전의 모든 역전파 없이 학습하는 알고리즘을 능가하고, 일부 주요 벤치마크에서 역전파 기반 기준 모델과 동등하거나 이를 초월한다.

ABSTRACT

The collective behavior of a network with heterogeneous, resource-limited information processing units (e.g., group of fish, flock of birds, or network of neurons) demonstrates high self-organization and complexity. These emergent properties arise from simple interaction rules where certain individuals can exhibit leadership-like behavior and influence the collective activity of the group. Motivated by the intricacy of these collectives, we propose a neural network (NN) architecture inspired by the rules observed in nature's collective ensembles. This NN structure contains workers that encompass one or more information processing units (e.g., neurons, filters, layers, or blocks of layers). Workers are either leaders or followers, and we train a leader-follower neural network (LFNN) by leveraging local error signals and optionally incorporating backpropagation (BP) and global loss. We investigate worker behavior and evaluate LFNNs through extensive experimentation. Our LFNNs trained with local error signals achieve significantly lower error rates than previous BP-free algorithms on MNIST and CIFAR-10 and even surpass BP-enabled baselines. In the case of ImageNet, our LFNN-l demonstrates superior scalability and outperforms previous BP-free algorithms by a significant margin.

연구 동기 및 목표

• 새로운 자연 현상(예: 새 떼의 군집 행동, 뇌 신경망 등)에서 영감을 얻어 생물학적으로 타당한 딥러닝 아키텍처를 개발하는 것.
• 인공 신경망에서 역전파의 계산 및 생물학적 비현실성 문제를 해결하기 위해 전역적 오차 신호를 국소적 학습 메커니즘으로 대체하는 것.
• 리더-팔로워 계층에서 국소적 오차 신호가 역전파 기반 모델과 경쟁 가능한 성능을 낼 수 있는지 조사하는 것.
• ImageNet과 같은 다양한 데이터셋에 걸쳐 제안된 아키텍처의 확장성과 일반화 능력을 평가하는 것.
• 리더 수가 모델 성능과 네트워크 복잡성에 미치는 영향을 탐구하는 것.

제안 방법

• 리더와 팔로워 워커로 구성된 계층적 구조를 갖춘 네트워크로, 리더는 더 넓은 정보 접근성과 집단 행동에 영향을 미친다.
• 리더와 팔로워는 각자의 출력과 타겟 레이블에서 유도된 별개의 국소적 오차 신호를 사용하여 탈중앙화된 훈련이 가능하다.
• 역전파 기반 훈련(LFNN)과 역전파 없는 훈련(LFNN-ℓ)을 모두 지원하며, 후자는 오직 국소적 손실 신호에 의존한다.
• 리더 비율을 하이퍼파라미터로 도입하여 각 계층에서 리더의 비율을 제어하고, 이는 정보 흐름과 학습 역학에 영향을 준다.
• 스티ochastic gradient descent를 사용해 국소적 오차 신호로 훈련하며, 성능 향상을 위해 전역 손실을 선택적으로 통합할 수 있다.
• ResNet-50 및 기타 아키텍처를 사용해 MNIST, CIFAR-10, ImageNet에서 확장성과 정확도를 평가하기 위해 실험을 수행한다.

실험 결과

연구 질문

• RQ1 국소적 오차 신호를 갖춘 리더-팔로워 신경망 아키텍처가 역전파 기반 모델과 유사한 성능을 낼 수 있는가?
• RQ2 네트워크 내 리더 비율이 다양한 데이터셋에서 모델 정확도와 일반화 능력에 어떤 영향을 미치는가?
• RQ3 역전파 없는 모델(LFNN-ℓ)이 표준 벤치마크에서 기존의 생물학적으로 타당한 역전파 없는 학습 알고리즘을 능가할 수 있는가?
• RQ4 계층적 리더-팔로워 구조가 ImageNet과 같은 대규모 데이터셋에서 확장성과 성능 향상에 기여하는가?
• RQ5 학습 효율성과 정확도 측면에서 네트워크 깊이, 리더 수, 데이터셋 복잡성 간의 관계는 어떠한가?

주요 결과

• LFNN-ℓ는 Tiny ImageNet에서 테스트 오차율 36.06%를 기록하여 모든 이전의 역전파 없는 기준 모델을 능가했고, 역전파 기반 모델의 성능에 가까워졌다.
• ImageNet 서브셋에서 LFNN-ℓ는 90% 리더 비율일 때 테스트 오차율 53.82%를 기록하여 모든 이전의 역전파 없는 모델을 능가했으며, 역전파 기반 기준 모델의 50.6% 오차율에 매우 근접했다.
• MNIST와 CIFAR-10에서 LFNN-ℓ는 이전의 모든 역전파 없는 알고리즘보다 유의미하게 낮은 오차율을 기록하여 소형에서 중형 규모 작업에서 강력한 일반화 능력을 입증했다.
• LFNN-ℓ의 성능은 모델 파라미터 수가 증가함에 따라 향상되어 확장성과 향후 최적화 잠재력을 보여주었다.
• Tiny ImageNet와 ImageNet 서브셋에서 모두 90% 리더 비율이 가장 우수한 성능을 냈으며, 이는 복잡한 데이터셋에서는 높은 리더 비율이 필요하다는 것을 시사한다.
• 결과적으로 국소적 학습과 리더-팔로워 계층을 통한 학습이 전역적 역전파 없이도 경쟁 가능한 성능을 달성할 수 있음을 입증하며, 기존 훈련 방식에 생물학적으로 타당한 대안을 제공한다.