[논문 리뷰] Forward Learning with Top-Down Feedback: Empirical and Analytical Characterization

Ravi Francesco Srinivasan, Francesca Mignacco외 5명|arXiv (Cornell University)|2023. 02. 10.

Neural Networks and Applications인용 수 7

한 줄 요약

이 논문은 PEPITA, 즉 전방향 전용 학습 알고리즘인 것이 해석적으로 상향 피드백이 있는 전방향-전방향 프레임워크와 동일하며, 적응형 피드백 정렬 규칙으로 근사될 수 있음을 보여준다. 또한 가중치 거울 반사 기법을 도입하여 정렬, 정확도 및 수렴성을 향상시켰으며, CIFAR-10에서 정확도를 53.8%로 끌어올리고 CIFAR-100에서 백프로파게이션과의 격차를 2% 이상 줄였다.

ABSTRACT

"Forward-only" algorithms, which train neural networks while avoiding a backward pass, have recently gained attention as a way of solving the biologically unrealistic aspects of backpropagation. Here, we first address compelling challenges related to the "forward-only" rules, which include reducing the performance gap with backpropagation and providing an analytical understanding of their dynamics. To this end, we show that the forward-only algorithm with top-down feedback is well-approximated by an "adaptive-feedback-alignment" algorithm, and we analytically track its performance during learning in a prototype high-dimensional setting. Then, we compare different versions of forward-only algorithms, focusing on the Forward-Forward and PEPITA frameworks, and we show that they share the same learning principles. Overall, our work unveils the connections between three key neuro-inspired learning rules, providing a link between "forward-only" algorithms, i.e., Forward-Forward and PEPITA, and an approximation of backpropagation, i.e., Feedback Alignment.

연구 동기 및 목표

• PEPITA와 같은 전방향 전용 학습 알고리즘에 대한 분석적 이해의 부족을 해결하기 위해.
• 가중치 정렬과 수렴성을 향상시켜 전방향 전용 방법과 백프로파게이션 사이의 성능 격차를 줄이기 위해.
• 학습 규칙이 공간적·시간적으로 국소적이도록 보장하여 생물학적 타당성을 향상시키기 위해.
• 전방향 전용 프레임워크에서 학습 동역학을 향상시키기 위한 전략으로 가중치 거울 반사 기법을 개발하고 평가하기 위해.

제안 방법

• 공식적으로 PEPITA를 히브시안 및 반-히브시안 항의 합으로 표현하여 공간적·시간적 국소성 확보.
• 이론적 분석을 통해 PEPITA와 상향 피드백이 있는 전방향-전방향 간의 동치성을 입증.
• PEPITA의 갱신 규칙을 피드백 정렬 유사 메커니즘으로 근사화하며, 피드백은 전방 가중치 행렬에 의해 조절됨.
• 학습 이전에 적용하는 프리-미러링(가중치 거울 반사)을 도입하여 정렬된 가중치를 초기화하고 수렴 속도를 향상.
• 가중치 거울 반사와 함께 활성화 정규화를 적용하여 학습 안정성 향상과 정확도 향상.
• 학습 곡선의 평탄한 부분 피팅을 통한 수렴 속도 측정과 함께, CIFAR-10 및 CIFAR-100에서 테스트 정확도를 기준으로 성능 벤치마킹.

실험 결과

연구 질문

• RQ1 아키텍처와 학습 동역학 측면에서 PEPITA는 전방향-전방향 알고리즘과 어떻게 관련이 있는가?
• RQ2 PEPITA 갱신 규칙은 적응형 피드백을 갖는 피드백 정렬 유사 메커니즘으로 분석적으로 근사될 수 있는가?
• RQ3 가중치 거울 반사 기법은 전방향 전용 학습에서 가중치 정렬, 정확도 및 수렴 속도를 향상시키는가?
• RQ4 프리-미러링은 정렬된 가중치를 초기화하여 학습을 얼마나 빠르게 하는가?
• RQ5 가중치 거울 반사와 활성화 정규화의 조합은 표준 비전 벤치마크에서 성능에 어떤 영향을 미치는가?

주요 결과

• PEPITA는 상향 피드백을 사용해 부정 단계 입력을 생성하는 전방향-전방향 프레임워크와 수학적으로 동일하다.
• PEPITA 갱신 규칙은 전방 가중치 행렬에 의해 조절되는 피드백이 있는 적응형 피드백 정렬 알고리즘으로 근사될 수 있다.
• 가중치 거울 반사 기법은 특히 얕은 네트워크에서 전방 가중치와 피드백 가중치 간의 정렬을 크게 향상시킨다.
• CIFAR-10에서, 가중치 거울 반사와 활성화 정규화를 적용한 PEPITA는 테스트 정확도 53.8%를 달성하여 표준 PEPITA보다 1.3% 향상되었다.
• CIFAR-100에서, 가중치 거울 반사 기법은 정확도를 2% 이상 향상시켜 백프로파게이션과의 격차를 상당히 줄였다.
• 프리-미러링은 학습 곡선의 느린 성질을 감소시켜, 특히 한 은닉층 네트워크에서 더 빠른 수렴을 나타낸다.