[논문 리뷰] The Cascaded Forward Algorithm for Neural Network Training

Gongpei Zhao, Tao Wang외 4명|arXiv (Cornell University)|2023. 03. 17.

Advanced Neural Network Applications인용 수 6

한 줄 요약

이 논문은 깊은 신경망을 위한 백프로파게이션을 필요로 하지 않는 새로운 학습 프레임워크인 CaFo를 제안한다. CaFo는 독립적이고 백프로파게이션을 통해 학습되지 않은 예측기들을 갖춘 계단식 신경 블록을 사용하여 직접적으로 클래스 분포를 출력한다. 음성 샘플링을 제거하고 병렬 학습을 가능하게 함으로써, 특히 레이블 공간이 큰 다중 클래스 설정에서 기존의 백프로파게이션 및 Forward-Forward와 같은 기준들보다 뛰어난 정확도와 효율성을 달성한다.

ABSTRACT

Backpropagation algorithm has been widely used as a mainstream learning procedure for neural networks in the past decade, and has played a significant role in the development of deep learning. However, there exist some limitations associated with this algorithm, such as getting stuck in local minima and experiencing vanishing/exploding gradients, which have led to questions about its biological plausibility. To address these limitations, alternative algorithms to backpropagation have been preliminarily explored, with the Forward-Forward (FF) algorithm being one of the most well-known. In this paper we propose a new learning framework for neural networks, namely Cascaded Forward (CaFo) algorithm, which does not rely on BP optimization as that in FF. Unlike FF, our framework directly outputs label distributions at each cascaded block, which does not require generation of additional negative samples and thus leads to a more efficient process at both training and testing. Moreover, in our framework each block can be trained independently, so it can be easily deployed into parallel acceleration systems. The proposed method is evaluated on four public image classification benchmarks, and the experimental results illustrate significant improvement in prediction accuracy in comparison with the baseline.

연구 동기 및 목표

• 백프로파게이션의 생물학적으로 불합리한 점과 실용적 한계(예: 기울기 소실 문제 및 전체 네트워크 기울기 계산 의존성)를 해결하기 위해.
• 학습 과정에서 음성 샘플링과 역전파 단계를 제거하여 더 생물학적으로 타당하고 효율적인 학습을 가능하게 하기 위해.
• 각 신경 블록과 그에 연결된 예측기를 독립적으로 학습시킬 수 있도록 프레임워크를 개발하여 병렬 처리와 모듈식 배포를 지원하기 위해.
• 특히 클래스 수가 많은 다중 클래스 분류 작업에서 예측 정확도와 학습 효율성을 향상시키기 위해.
• 백프로파게이션을 사용하지 않는 학습 방식이 깊은 신경망에서 가능할 수 있는지 탐색하면서도, 백프로파게이션 기반 방법과 동등하거나 이를 초월하는 성능을 유지하거나 향상시키기 위해.

제안 방법

• CaFo 프레임워크는 여러 개의 계단식으로 연결된 신경 블록으로 구성되며, 각 블록은 입력 특징을 새로운 표현 공간으로 매핑하는 컨볼루션, 풀링, 정규화 및 활성화 레이어로 구성된다.
• 각 블록은 백프로파게이션을 사용하지 않는 방법(예: DFA 또는 무작위 초기화)을 사용해 사전 학습되며, 기울기 계산을 피하고 독립적 학습이 가능하다.
• 각 블록에 계층별 예측기가 부착되며, 출력과 진짜 레이블 간의 예측 오차(MSE, CE 또는 SL)를 최소화하기 위해 전방 전파만을 사용해 독립적으로 학습된다.
• 추론 과정에서는 모든 예측기의 예측 결과를 가중 평균 또는 평균화한 결과를 최종 예측으로 사용하여 백프로파게이션 없이 종단 간 분류를 수행한다.
• 스칼라 형태의 적합도 점수가 아닌 직접적인 클래스 분포를 출력하므로, 다중 클래스 작업에 더 적합하다.
• 블록과 예측기의 병렬 학습을 지원하여 분산 시스템에서의 확장성과 배포 효율성을 향상시킨다.

실험 결과

연구 질문

• RQ1 계단식 전방 블록과 독립적 예측기를 사용함으로써 백프로파게이션 없이도 깊은 신경망을 효과적으로 학습시킬 수 있는가?
• RQ2 백프로파게이션을 사용하지 않는 학습 환경에서 CaFo의 성능은 백프로파게이션 및 Forward-Forward와 비교해 어떻게 되는가?
• RQ3 다양한 신경 블록 학습 전략(예: DFA, 무작위 초기화)이 CaFo의 최종 정확도에 미치는 영향은 어떠한가?
• RQ4 계단식 블록의 수가 모델의 일반화 능력과 과적합에 미치는 영향은 어떠한가?
• RQ5 다른 특징 수준에서 유도된 다수의 예측기를 조합하면 단일 헤드 모델보다 최종 분류 성능을 향상시킬 수 있는가?

주요 결과

• CaFo는 CIFAR-10, CIFAR-100, MNIST 및 Mini-ImageNet에서 백프로파게이션을 사용하지 않는 방법 중 최고 성능을 기록하며, Forward-Forward 및 기타 기준들보다 뚜렷한 정확도 향상을 보였다.
• 음성 샘플링이 필요 없어져 학습 안정성이 향상되고 샘플링 품질에 대한 민감도가 감소했다.
• 직접 피드백 정렬(DFA)을 사용해 신경 블록을 사전 학습시키면 무작위 타겟 프로젝션보다 더 높은 성능을 내어, DFA가 비-BP 학습에서 효과적임을 입증했다.
• 블록 수를 늘릴수록 학습 오차는 감소(더 나은 피팅)하지만 너무 많은 블록을 사용할 경우 검증 세트에서 과적합이 발생함을 보여, 능력과 일반화 사이의 상충 관계가 있음을 시사했다.
• 더 깊은 레이어에 위치한 예측기들이 얕은 레이어의 예측기들보다 일관되게 뛰어난 성능을 보였으며, 이는 계층적 특징이 분류에 더 구분력이 있음을 시사한다.
• 모든 예측기의 출력을 조합한 최종 예측은 개별 예측기보다 낮은 테스트 오차를 기록하여, CaFo 프레임워크에서 앙상블 융합의 효과성을 검증했다.