[논문 리뷰] A Theoretical Framework for Target Propagation

Alexander Meulemans, Francesco S. Carzaniga외 3명|arXiv (Cornell University)|2020. 06. 25.

Wireless Signal Modulation Classification참고 문헌 61인용 수 32

한 줄 요약

논문은 Target Propagation(TP)가 가우시안-뉴턴 혼합 그래디언트로 invertible 네트워크에서 작용함을 이론적으로 보여주고, invertible이 아닌 네트워크에서 GN과 같은 타깃을 가능하게 하는 Difference Reconstruction Loss(DRL)를 소개하며, 강력한 실험적 이득이 있는 직접 피드백 변형을 제시한다.

ABSTRACT

The success of deep learning, a brain-inspired form of AI, has sparked interest in understanding how the brain could similarly learn across multiple layers of neurons. However, the majority of biologically-plausible learning algorithms have not yet reached the performance of backpropagation (BP), nor are they built on strong theoretical foundations. Here, we analyze target propagation (TP), a popular but not yet fully understood alternative to BP, from the standpoint of mathematical optimization. Our theory shows that TP is closely related to Gauss-Newton optimization and thus substantially differs from BP. Furthermore, our analysis reveals a fundamental limitation of difference target propagation (DTP), a well-known variant of TP, in the realistic scenario of non-invertible neural networks. We provide a first solution to this problem through a novel reconstruction loss that improves feedback weight training, while simultaneously introducing architectural flexibility by allowing for direct feedback connections from the output to each hidden layer. Our theory is corroborated by experimental results that show significant improvements in performance and in the alignment of forward weight updates with loss gradients, compared to DTP.

연구 동기 및 목표

• TP를 역전파(BP)와 구별되는 최적화 프레임워크로 동기 부여 및 분석한다.
• invertible 네트워크에서 TP를 Gauss-Newton-그라디언트 디센트 하이브리드로 특징지운다.
• 비가역 네트워크에서 Difference Target Propagation(DTP)의 한계를 재확인한다.
• 비가역 네트워크에서 Gauss-Newton 타깃을 전파하기 위한 차 difference Reconstruction Loss(DRL)를 제안한다.
• 직접 피드백 연결을 도입하고 DPTP 변형을 실험적으로 평가한다.
• 전방 가중치 업데이트와 손실 그래디언트 및 GN 타깃과의 정렬이 개선됨을 보인다.

제안 방법

• invertible 네트워크 조건을 형식화하고 TP 타깃 업데이트를 GN-유사 변환으로 도출한다(정리 2).
• 비가역 네트워크에서 재구성 오차로 인한 DTP의 한계를 보인다(학습 보조 정리 3).
• 피드백 매핑을 GN 타깃을 전파하도록 학습시키는 DRL을 도입한다(Eq. 10, 정리 4).
• 직접 출력-은닉 피드백이 있는 DDTP 변형(DDTP-linear, DDTP-RHL)을 제안한다.
• Gauss-Newton 타깃 업데이트의 이론적 해석과 최소 노름 성질을 제시한다(정리 5-6).
• FC 및 소형 CNN 모델을 사용하여 MNIST, Frozen-MNIST, Fashion-MNIST, CIFAR-10에서 TP, DTP, DDTP 변형을 실험적으로 비교한다.

실험 결과

연구 질문

• RQ1 invertible 네트워크에서 TP를 엄밀히 Gauss-Newton 최적화와 관련지을 수 있는가?
• RQ2 비가역 네트워크에서 DTP가 왜 성능이 떨어지며 이를 개선할 수 있는가?
• RQ3 DRL이 비가역 네트워크에서 GN-유사 타깃의 전파를 가능하게 하는가?
• RQ4 직접 피드백 연결(DDTP 변형)이 학습 신호와 성능을 개선하는가?
• RQ5 GN-타깃 기반 업데이트가 BP와 비교해 수렴성과 노름 최적화 측면에서 어떤 차이가 있는가?

주요 결과

• invertible 네트워크에서 TP 타깃은 가우시스-뉴턴-그라디언트 디센트 하이브리드 업데이트를 구현한다.
• 비가역 네트워크에서 재구성 오차로 인해 DTP가 비효과적인 업데이트를 야기하여 타깃 전파에 간섭한다.
• 새로운 Difference Reconstruction Loss(DRL)가 피드백 매핑을 학습시켜 Gauss-Newton 타깃을 전파하도록 하여 DTP의 한계를 완화한다.
• 직접 피드백 연결(DDTP 변형)이 학습 신호와 손실 그래디언트 및 GN 타깃과의 일치를 개선한다.
• DDTP-linear 및 관련 변형은 MNIST, Fashion-MNIST, CIFAR-10에서 테스트 오차 측면에서 원래 DTP 및 컨트롤보다 우수하며, DDTP-linear가 보통 가장 강력하다.
• GNT 업데이트는 GN 방향과 일치하며 선형 네트워크에서 최소 노름 업데이트를 낼 수 있으며 비선형 네트워크에서도 근사적 동작을 보일 수 있다.