[논문 리뷰] Towards Scaling Difference Target Propagation by Learning Backprop Targets

Maxence Ernoult, Fabrice Normandin외 6명|arXiv (Cornell University)|2022. 01. 31.

Advanced Memory and Neural Computing인용 수 8

한 줄 요약

이 논문은 차등 대상 전파(DTP)를 위한 새로운 피드백 가중치 학습 방식을 제안하며, 피드백 경로와 전치된 피드포워드 경로 사이의 계층별 자코비안 일치를 보장함으로써 DTP가 백프로파게이션(BP)에 가까이 근사하면서도 생물학적으로 타당한 방식을 유지할 수 있도록 한다. 이 방법은 CIFAR-10(85.33% 정확도)과 ImageNet 32×32(60.54% 상위-5 정확도)에서 최신 기술 수준의 성능을 달성하며, 확장 가능하고 생물학적으로 타당한 학습 알고리즘으로서 BP 성능에 근접한다.

ABSTRACT

The development of biologically-plausible learning algorithms is important for understanding learning in the brain, but most of them fail to scale-up to real-world tasks, limiting their potential as explanations for learning by real brains. As such, it is important to explore learning algorithms that come with strong theoretical guarantees and can match the performance of backpropagation (BP) on complex tasks. One such algorithm is Difference Target Propagation (DTP), a biologically-plausible learning algorithm whose close relation with Gauss-Newton (GN) optimization has been recently established. However, the conditions under which this connection rigorously holds preclude layer-wise training of the feedback pathway synaptic weights (which is more biologically plausible). Moreover, good alignment between DTP weight updates and loss gradients is only loosely guaranteed and under very specific conditions for the architecture being trained. In this paper, we propose a novel feedback weight training scheme that ensures both that DTP approximates BP and that layer-wise feedback weight training can be restored without sacrificing any theoretical guarantees. Our theory is corroborated by experimental results and we report the best performance ever achieved by DTP on CIFAR-10 and ImageNet 32$ imes$32

연구 동기 및 목표

• 기존의 차등 대상 전파(DTP) 변종이 낮은 성능과 확장성 부족으로 인해 실패하는 복잡한 작업, 예를 들어 CIFAR-10과 ImageNet 32×32에 대해 생물학적으로 타당한 학습 알고리즘을 개발하는 것.
• DTP에서 계층별 피드백 경로 시냅스 가중치 학습을 복원함으로써 더 생물학적으로 타당한 방식을 유지하면서도 이론적 보장을 유지하는 것.
• 새로운 피드백 가중치 학습 방식을 통해 계층별 백프로파게이션 타겟을 학습함으로써 DTP의 가중치 갱신이 백프로파게이션(BP) 갱신에 가까이 근사하도록 보장하는 것.
• 실제로 역행 불가능한 네트워크 아키텍처에서 작동하며 직접 피드백 연결이 필요 없이도 DTP와 가우스-뉴턴 최적화 사이의 이론적 연결 고리를 확립하는 것.

제안 방법

• 피드백 연산자의 자코비안이 피드포워드 경로의 자코비안의 전치와 일치하도록 보장하기 위해 국소적 차등 재구성 손실(L-DRL)을 도입함으로써 피드백 가중치를 학습시킴.
• L-DRL을 최소화하는 별도의 최적화 루프를 사용하여 피드백 경로가 계층별로 피드포워드 경로를 역행할 수 있도록 피드백 가중치를 학습함.
• 학습된 피드백 가중치를 사용하여 타겟 값을 피드백 경로를 따라 전파하고, 활성화 차이(δⁿ ∝ tⁿ − sⁿ)를 통해 局소 오차 신호를 생성함으로써 백프로파게이션 기울기를 근사함.
• JMC 조건을 만족할 경우 DTP의 피드포워드 가중치 갱신 규칙이 BP 갱신 규칙과 유사해지도록 보장함으로써 기울기 일치 성질(GMP)을 확립함.
• 표준 훈련 프로토콜을 사용하여 CIFAR-10과 ImageNet 32×32에서 6층의 VGG 유사 네트워크와 같은 깊은 아키텍처에 이 방법을 적용하며, 배치당 여러 번의 피드백 갱신을 수행함.
• 각성 연구를 통해 DTP와 BP 갱신 방향 간의 각도 차이를 비교함으로써 제안된 방법이 더 나은 정렬을 보임을 확인함.

실험 결과

연구 질문

• RQ1 생물학적으로 타당한 학습 알고리즘인 DTP가 CIFAR-10과 ImageNet 32×32와 같은 복잡한 시각 작업에서 백프로파게이션(BP) 성능에 근접할 수 있는가?
• RQ2 이론적 보장이나 성능을 희생시키지 않고 DTP에서 계층별 피드백 가중치 학습을 복원할 수 있는가?
• RQ3 피드백 가중치를 통해 백프로파게이션 유사 타겟을 학습하는 것이 기존 DTP 변종보다 DTP와 BP 갱신 간의 정렬을 더 잘 향상시키는가?
• RQ4 직접 피드백 연결 없이도 계층별로 자코비안 일치 조건(JMC)을 강제로 적용할 수 있으며, 이로써 생물학적 타당성을 유지할 수 있는가?

주요 결과

• 제안된 DTP 방법은 CIFAR-10에서 85.33%의 정확도를 달성하였으며, 이는 이전에 보고된 최고의 DTP 성능(72.15% for p-DDTP)보다 약 13% 높고, BP 기준선(86.34%)과 1% 이내에 머물러 있음.
• ImageNet 32×32에서는 60.54%의 상위-5 정확도를 달성하였으며, BP 기준선(61.25%)과 1% 이내에 머물러 있으며, 이는 이 벤치마크에서 BP 성능에 근접하는 최초의 DTP 결과임.
• 제안된 방법에서는 s-DDTP와 p-DDTP에 비해 DTP와 BP 갱신 방향 간의 각도 차이가 유의미하게 작으며, 초기 층에서 최대 15°까지 감소함으로써 더 나은 기울기 정렬을 나타냄.
• 국소적 차등 재구성 손실(L-DRL)은 피드백 가중치를 자코비안 일치 조건(JMC)을 만족하도록 성공적으로 학습시켰으며, 이는 DTP가 이론적 보장 하에 BP를 근사하기 위해 필수적임.
• 다양한 무작위 시드에서 높은 성능을 유지하며, 낮은 표준편차(예: CIFAR-10의 경우 0.32)를 보임으로써 안정적이고 신뢰할 수 있는 학습을 보장함.
• 결과적으로 피드백 가중치를 통한 백프로파게이션 타겟 학습은 깊은 아키텍처에서도 확장 가능하고 생물학적으로 타당한 학습을 가능하게 하며, BP에 매우 가까운 성능을 달성함을 보여줌.