[논문 리뷰] The dynamics of learning with feedback alignment.

Maria Refinetti, Stéphane d’Ascoli외 2명|arXiv (Cornell University)|2020. 11. 24.

Neural Networks and Applications참고 문헌 32인용 수 8

한 줄 요약

이 논문은 딥 네트워크 학습에서 피드백 정렬(FA)의 성공과 실패를 설명하는 이론을 제안한다. 두 단계의 학습 과정—정렬과 기억화—가 손실 곡면의 비대칭성을 깨뜨리며, 높은 기울기 정렬을 유리하게 만든다. 핵심 통찰은 정렬 행렬의 조건이 학습 성공 여부를 결정하며, 이는 FA가 컨volutional 네트워크에서 실패하는 이유를 설명한다.

ABSTRACT

Direct Feedback Alignment (DFA) is emerging as an efficient and biologically plausible alternative to the ubiquitous backpropagation algorithm for training deep neural networks. Despite relying on random feedback weights for the backward pass, DFA successfully trains state-of-the-art models such as Transformers. On the other hand, it notoriously fails to train convolutional networks. An understanding of the inner workings of DFA to explain these diverging results remains elusive. Here, we propose a theory for the success of DFA. We first show that learning in shallow networks proceeds in two steps: an alignment phase, where the model adapts its weights to align the approximate gradient with the true gradient of the loss function, is followed by a memorisation phase, where the model focuses on fitting the data. This two-step process has a degeneracy breaking effect: out of all the low-loss solutions in the landscape, a network trained with DFA naturally converges to the solution which maximises gradient alignment. We also identify a key quantity underlying alignment in deep linear networks: the conditioning of the alignment matrices. The latter enables a detailed understanding of the impact of data structure on alignment, and suggests a simple explanation for the well-known failure of DFA to train convolutional neural networks. Numerical experiments on MNIST and CIFAR10 clearly demonstrate degeneracy breaking in deep non-linear networks and show that the align-then-memorize process occurs sequentially from the bottom layers of the network to the top.

연구 동기 및 목표

• 직접 피드백 정렬(DFA)이 트랜스포머에서 성공적으로 작동하는 이유와 콘볼루션 신경망에서 실패하는 이유를 이해하는 것.
• 딥 네트워크에서 DFA의 수렴이 특정 해에 도달하는 데 영향을 주는 기반이 되는 메커니즘을 규명하는 것.
• 기울기 정렬이 DFA에서 학습 성공과 실패를 결정하는 데 어떤 역할을 하는지 설명하는 것.
• 데이터 구조와 네트워크 아키텍처가 정렬 행렬의 조건에 어떤 영향을 미치는지 기술하는 것.
• DFA 학습 동역학에서 비대칭성 깨짐을 위한 이론적 프레임워크를 제공하는 것.

제안 방법

• 두 단계의 학습 과정을 제안: 첫 번째로 근사 기울기를 진짜 기울기와 정렬시키는 단계, 다음으로 데이터 기억화 단계.
• 얕은 및 깊은 선형 네트워크 분석을 통해 정렬 행렬의 조건이 학습 성공 여부를 결정하는 데 미치는 영향을 규명.
• 정렬 행렬의 조건과 DFA가 낮은 손실 해에 수렴할 수 있는 능력 간의 이론적 프레임워크를 제시.
• MNIST와 CIFAR10에서의 수치 실험을 통해 하부에서 상부 레이어로 향하는 정렬-그런 다음 기억화 과정의 순차적 발생을 검증.
• 학습 중 근사 기울기와 진짜 기울기 사이의 정렬 정도를 측정하기 위해 기울기 정렬 지표를 사용.
• 행렬 조건 분석을 통해 콘볼루션 네트워크에서 DFA의 실패 원인을 설명: 정렬 행렬의 조건이 열악하기 때문.

실험 결과

연구 질문

• RQ1 왜 피드백 정렬은 트랜스포머에서는 성공적으로 작동하지만, 콘볼루션 신경망에서는 실패하는가?
• RQ2 딥 네트워크에서 DFA가 특정 해에 수렴하는 데 배경이 되는 역학적 과정은 무엇인가?
• RQ3 학습 과정에서 기울기 정렬은 어떻게 변화하며, 이는 모델 성능 결정에 어떤 역할을 하는가?
• RQ4 어떤 구조적 또는 아키텍처적 요소가 깊은 네트워크에서 정렬 행렬의 조건을 결정하는가?
• RQ5 정렬-그런 다음 기억화 과정이 네트워크 레이어에 걸쳐 순차적으로 발생하는 정도는 어느 정도인가?

주요 결과

• DFA 학습은 두 개의 명확한 단계로 진행된다: 초기에 모델이 근사 기울기를 진짜 기울기와 정렬시키는 단계, 다음으로 데이터 피팅에 집중하는 기억화 단계.
• 손실 곡면의 비대칭성이 정렬 과정에 의해 깨지며, 기울기 정렬을 극대화하는 해를 선호하게 된다.
• 깊은 선형 네트워크에서 정렬 행렬의 조건이 DFA가 네트워크를 성공적으로 학습할 수 있는지 여부를 결정하는 핵심 요소이다.
• MNIST와 CIFAR10에서의 수치 실험 결과, 정렬-그런 다음 기억화 과정이 깊은 비선형 네트워크에서 하위 레이어에서 상위 레이어로 순차적으로 발생하는 것으로 나타났다.
• 콘볼루션 네트워크에서 DFA의 실패는 정렬 행렬의 조건이 열악하기 때문이며, 이는 효과적인 기울기 정렬을 방해한다.
• 이 이론은 데이터 구조와 계층별 역학을 바탕으로 다양한 아키텍처에서 DFA의 성능 차이를 기계적 메커니즘으로 설명한다.