[논문 리뷰] Is Bio-Inspired Learning Better than Backprop? Benchmarking Bio Learning vs. Backprop

Manas Gupta, Sarthak Ketanbhai Modi외 3명|arXiv (Cornell University)|2022. 12. 09.

Neural Networks and Applications인용 수 4

한 줄 요약

이 논문은 생물학적으로 영감을 받은 학습 알고리즘—히브시안, 피드백 정렬, 직접 피드백 정렬, 예측 코드, 차분 타겟 전파—을 백프로파게이션(BP)과 비교하여 다양한 현실적인 훈련 제약 조건에서 평가한다. 연구 결과, 저자료 및 저예산 환경에서 생물학적 알고리즘이 백프로파게이션을 상당히 능가하는 것으로 나타났으며, 히브시안 학습은 최대 20% 높은 정확도를 기록하고, BP의 약 100 에포크 대비 5 에포크 만에 수렴하여 20배 빠른 수렴 속도를 보였다. 또한 소음과 가중치 희소성에 대해 뛰어난 내성성을 보였다.

ABSTRACT

Bio-inspired learning has been gaining popularity recently given that Backpropagation (BP) is not considered biologically plausible. Many algorithms have been proposed in the literature which are all more biologically plausible than BP. However, apart from overcoming the biological implausibility of BP, a strong motivation for using Bio-inspired algorithms remains lacking. In this study, we undertake a holistic comparison of BP vs. multiple Bio-inspired algorithms to answer the question of whether Bio-learning offers additional benefits over BP. We test Bio-algorithms under different design choices such as access to only partial training data, resource constraints in terms of the number of training epochs, sparsification of the neural network parameters and addition of noise to input samples. Through these experiments, we notably find two key advantages of Bio-algorithms over BP. Firstly, Bio-algorithms perform much better than BP when the entire training dataset is not supplied. Four of the five Bio-algorithms tested outperform BP by upto 5% accuracy when only 20% of the training dataset is available. Secondly, even when the full dataset is available, Bio-algorithms learn much quicker and converge to a stable accuracy in far lesser training epochs than BP. Hebbian learning, specifically, is able to learn in just 5 epochs compared to around 100 epochs required by BP. These insights present practical reasons for utilising Bio-learning beyond just their biological plausibility and also point towards interesting new directions for future work on Bio-learning.

연구 동기 및 목표

• 생물학적으로 타당한 학습 알고리즘이 백프로파게이션과 비교해 생물학적 타당성 외에도 실질적인 이점을 제공하는지 평가하기.
• 제한된 훈련 데이터, 줄어든 훈련 에포크 수, 입력 노이즈, 모델 희소성 등의 현실적인 제약 조건 하에서의 성능 차이를 조사하기.
• 엣지 AI 및 자료가 부족한 환경과 같은 실세계 응용 분야에서 생물학적 학습의 실질적 이점을 규명하기.
• 특징 시각화를 통해 백프로파게이션과 비교해 생물학적 알고리즘의 표현 학습 품질을 분석하기.
• 극도의 파rameter 희소성과 노이즈가 있는 입력 조건 하에서 생물학적 알고리즘의 내성성 평가하기.

제안 방법

• 다섯 가지 생물학적으로 영감을 받은 알고리즘—히브시안 학습, 피드백 정렬(FA), 직접 피드백 정렬(DFA), 예측 코드(PC), 차분 타겟 전파(DTP)—을 벤치마킹하였다.
• 네 가지 실험 설정에서 성능을 평가: 훈련 데이터의 20%, 제한된 에포크 수(최대 100), 입력 노이즈(Gaussian 및 페퍼 노이즈), 95% 가중치 희소성.
• 표준 데이터셋 사용: CIFAR-10, CIFAR-100, 그리고 NLP 감성 분류를 위한 SST-2.
• 10개의 랜덤 시드로 모델을 훈련하여 평균 정확도와 표준편차를 계산하였다.
• 활성화 맵을 사용해 특징을 시각화하여 BP와 히브시안 학습 간의 해석 가능성과 구조적 유사성 비교하였다.
• 95% 희소성 수준에서 네트워크 프루닝을 적용하고, 표준 이미지 손상 기법을 사용해 노이즈에 대한 내성성 평가를 실시하였다.

실험 결과

연구 질문

• RQ1 제한된 훈련 데이터 조건에서 생물학적으로 영감을 받은 학습 알고리즘이 백프로파게이션을 능가하는가?
• RQ2 생물학적 알고리즘이 백프로파게이션보다 적은 훈련 에포크 수로 더 빠르게 수렴하고 안정적인 성능을 내는가?
• RQ3 입력 노이즈와 모델 희소성 조건에서 생물학적 알고리즘은 백프로파게이션보다 어떻게 성능을 내는가?
• RQ4 생물학적 알고리즘은 백프로파게이션보다 더 해석 가능하거나 세밀한 특징을 학습하는가?
• RQ5 생물학적 학습의 이점은 자연어 처리(NLP)와 같은 다양한 도메인에서도 유지되는가?

주요 결과

• 5개의 생물학적 알고리즘 중 4개(FA, DFA, HB, PC)가 훈련 데이터의 20%만 사용할 경우 BP보다 최대 5% 높은 정확도를 기록했다.
• 히브시안 학습은 저자료 및 저예산 환경에서 BP보다 최대 20% 높은 정확도를 기록했으며, BP의 약 100 에포크 대비 단 5 에포크 만에 수렴하였다.
• 히브시안 학습은 BP보다 20배 빠른 속도로 수렴하여, 여러 데이터셋에서 안정된 정확도에 도달하는 데 5 에포크만 소요되었다.
• 특징 시각화 결과, 히브시안 학습은 BP가 학습하는 것보다 더 세밀하고 설명 가능한 특징을 학습하는 것으로 나타났다.
• 생물학적 알고리즘, 특히 DFA는 CIFAR-10과 CIFAR-100에서 가우시안 노이즈 및 페퍼 노이즈 조건에서도 BP를 능가했으며, 노이즈 조건 하에서도 BP보다 더 높은 정확도를 기록했다.
• 극도의 희소성(95% 프루닝된 가중치) 조건에서도 생물학적 학습은 높은 정확도를 유지했으며, BP 성능과 유사하거나 이를 초월했고, 히브시안 학습 외 전 알고리즘이 희소성에 대해 뛰어난 내성성을 보였다.