[논문 리뷰] Deep Learning without Weight Symmetry

Jian Li, Marcus K. Benna|arXiv (Cornell University)|2024. 05. 31.

Neural Networks and Applications참고 문헌 8인용 수 1

한 줄 요약

이 논문은 제품 피드백 정렬(PFA)을 제안하며, 이는 심층학습에서 명시적인 가중치 대칭성을 제거하기 위해 오차 신호를 전달하는 보조 신경세포 집단을 도입함으로써 생물학적으로 타당한 신용 할당 알고리즘이다. PFA는 완전히 연결된 네트워크와 컨볼루션 네트워크에서 백프로파게이션과 유사한 성능을 달성하며, 최소한의 가중치 상관관계와 이중 방향 시냅스 연결이 필요 없어, 오랫동안 해결되지 않았던 생물학적 학습에서의 가중치 대칭 문제를 해결한다.

ABSTRACT

Backpropagation (BP), a foundational algorithm for training artificial neural networks, predominates in contemporary deep learning. Although highly successful, it is often considered biologically implausible. A significant limitation arises from the need for precise symmetry between connections in the backward and forward pathways to backpropagate gradient signals accurately, which is not observed in biological brains. Researchers have proposed several algorithms to alleviate this symmetry constraint, such as feedback alignment and direct feedback alignment. However, their divergence from backpropagation dynamics presents challenges, particularly in deeper networks and convolutional layers. Here we introduce the Product Feedback Alignment (PFA) algorithm. Our findings demonstrate that PFA closely approximates BP and achieves comparable performance in deep convolutional networks while avoiding explicit weight symmetry. Our results offer a novel solution to the longstanding weight symmetry problem, leading to more biologically plausible learning in deep convolutional networks compared to earlier methods.

연구 동기 및 목표

• 백프로파게이션에서 피드백 가중치가 피드포워드 가중치와 정확히 대칭되어야 한다는 생물학적으로 비현실적인 조건을 해결하기 위해.
• 신경생물학적 증거가 뉴런 간 일관된 이중 방향 연결이 없음을 보여주므로, 이에 위배되는 가중치 대칭 문제를 해결하기 위해.
• 명시적인 가중치 운반 또는 대칭 피드백 경로가 필요 없이 정확한 기울기 근사치를 제공할 수 있는 신용 할당 메커니즘을 개발하기 위해.
• 완전히 국소적이고 비대칭적인 시냅스 연결과 보조 오차 전달 집단을 사용하여도 심층 네트워크가 백프로파게이션과 유사한 성능를 달성할 수 있음을 보여주기 위해.

제안 방법

• 출력층에서 활성화가 발생하는 레이어 x_l로 오차 신호를 되돌려보내기 위해, \bar{e}_l^k로 표기되는 보조 신경세포 집단을 도입한다.
• 피드포워드 가중치의 기울기 갱신을 계산하기 위해, 전방 활성화 x_l와 보조 오차 신호 \bar{e}_l^k의 곱을 사용하여 대칭 피드백 가중치가 필요 없도록 한다.
• 각 시냅스마다 독립적인 항목을 가진 고정된, 무작위로 초기화된 피드백 행렬 B를 사용하여 가중치 운반을 피하고 전방 및 후방 경로를 완전히 분리한다.
• 전방 경로와 후방 경로의 방향이 일치하도록 보장하기 위해 경로 정렬 메커니즘을 적용한다.
• 정렬 품질을 수량화하기 위해 경로 노름 비율 지표를 도입하며, 1에 가까운 값은 백프로파게이션에 대한 강력한 근사치를 의미한다.
• 보조 오차 신호를 스케일링하기 위해 전개 비율 λ < 1을 사용하여 기울기 근사치에 충분한 질량을 유지하면서도 생물학적 타당성을 유지한다.

실험 결과

연구 질문

• RQ1 피드포워드 및 피드백 경로 간에 명시적인 가중치 대칭성이 없더라도 심층 네트워크에서 신용 할당을 달성할 수 있는가?
• RQ2 후방 신경세포에서 전방 신경세포로 직접 피드백 시냅스가 존재하지 않는 상황에서 생물학적으로 타당한 학습 규칙이 백프로파게이션을 근사할 수 있는가?
• RQ3 이중 방향 연결을 피하면서도 표준 비전 벤치마크에서 높은 정확도를 유지할 수 있는 학습 알고리즘의 성능는 어떠한가?
• RQ4 대칭적이거나 운반된 가중치에 의존하지 않고도 효과적으로 오차 신호를 전달하여 정확한 가중치 갱신을 가능하게 할 수 있는 방법은 무엇인가?
• RQ5 보조 신경세포 집단이 생물학적 타당성을 유지하면서 효과적인 기울기 근사치를 가능하게 할 수 있는가?

주요 결과

• PFA는 ResNet-18을 사용하여 ImageNet에서 테스트 정확도 69.30%를 달성하였으며, 표준 백프로파게이션의 69.69% 정확도와 매우 유사하다.
• PFA는 약 78°의 경로 정렬 각도와 1.0에 가까운 경로 노름 비율을 기록하여 전방 및 후방 경로 간 강력한 정렬을 나타낸다.
• PFA는 모든 이중 방향 시냅스 연결을 제거하여 가중치 정렬 각도가 90°(상관관계 0)가 되었으며, 이는 뇌에서 관찰되는 대칭 가중치의 부재와 일치한다.
• PFA는 SF(64.63% 정확도) 및 FA/DFA와 같은 다른 생물학적으로 타당한 알고리즘보다 ImageNet에서 뛰어난 성능을 보이며, 도전적인 과제에서 뛰어난 성능을 입증한다.
• 고정된 피드백 가중치 B를 사용해도 높은 성능를 유지하며, 보조 오차 집단의 사용으로 가중치 운반 없이도 정확한 기울기 근사치를 달성할 수 있다.
• 오차 전달과 활성화 전달을 분리함으로써 기존 생물학적 프레임워크(예: 아파탈-베이스럴 dendritic 분리 및 버스트 기반 신호 멀티플렉싱)와의 탄력적 통합이 가능하다.