[논문 리뷰] Biological credit assignment through dynamic inversion of feedforward networks

William F. Podlaski, Christian K. Machens|arXiv (Cornell University)|2020. 07. 10.

Neural dynamics and brain function참고 문헌 61인용 수 8

한 줄 요약

이 논문은 순환 동역학을 통한 동적 역전치를 사용하여 딥 피드포워드 네트워크에서 생물학적으로 타당한 신용 할당 메커니즘을 제안한다. 오차 신호는 정방향과 고정된 피드백 가중치 사이의 안정적인 반복 동역학을 통해 역방향으로 전파되며, 피드백 연결의 학습이 필요 없어진다. 이 방법은 백프로파게이션 또는 가중치 운반 없이 정확한 가중치 갱신을 달성하며, 지도 학습 및 오토인코더 작업에서 뛰어난 성능을 보이며 피드백 제어 및 이차 최적화 원리와 연결된다.

ABSTRACT

Learning depends on changes in synaptic connections deep inside the brain. In multilayer networks, these changes are triggered by error signals fed back from the output, generally through a stepwise inversion of the feedforward processing steps. The gold standard for this process -- backpropagation -- works well in artificial neural networks, but is biologically implausible. Several recent proposals have emerged to address this problem, but many of these biologically-plausible schemes are based on learning an independent set of feedback connections. This complicates the assignment of errors to each synapse by making it dependent upon a second learning problem, and by fitting inversions rather than guaranteeing them. Here, we show that feedforward network transformations can be effectively inverted through dynamics. We derive this dynamic inversion from the perspective of feedback control, where the forward transformation is reused and dynamically interacts with fixed or random feedback to propagate error signals during the backward pass. Importantly, this scheme does not rely upon a second learning problem for feedback because accurate inversion is guaranteed through the network dynamics. We map these dynamics onto generic feedforward networks, and show that the resulting algorithm performs well on several supervised and unsupervised datasets. Finally, we discuss potential links between dynamic inversion and second-order optimization. Overall, our work introduces an alternative perspective on credit assignment in the brain, and proposes a special role for temporal dynamics and feedback control during learning.

연구 동기 및 목표

• 신경망에서 백프로파게이션의 생물학적 비타당성 문제를 해결하기 위해, 특히 정확한 가중치 대칭성 요구 또는 피드백 연결 학습이 필요 없는 문제를 해결한다.
• 피드백 가중치의 반복 학습이 아닌 정방향 및 피드백 경로 간의 동적 상호작용에 기반한 신용 할당 메커니즘을 개발한다.
• 안정적인 네트워크 동역학이 정방향 변환을 정확히 역전치할 수 있음을 보여주며, 추가 학습 단계 없이 효과적인 오차 역전파를 가능하게 한다.
• 동적 역전치와 이차 최적화 방법 간의 관계를 탐색하여 신경 계산에서 잠재적인 생물학적 관련성을 제안한다.

제안 방법

• 이 방법은 정방향 가중치를 동적 시스템에 재사용하여 오차 역전파를 피드백 제어 문제로 공식화한다.
• 고정 또는 무작위 피드백 가중치를 사용하는 동적 역전치 메커니즘을 도입하며, 제어 법칙에 의해 지배되는 반복 동역학을 통해 오차 신호를 후방으로 전파한다.
• 핵심 식은 후방 전파를 안정적인 동적 시스템으로 모델링한다: $ \dot{\mathbf{\delta}}_l = -\mathbf{M}_l \mathbf{\delta}_l + \mathbf{D}_l \mathbf{M}_l \mathbf{\delta}_{l+1} $, 이는 정확한 기울기 방향으로 수렴함을 보장한다.
• 직접 헤시안 역행렬 계산이나 가중치 운반 없이, 동적 시스템의 내재된 안정성에 의존하여 정확한 역전치를 보장한다.
• 알고리즘은 표준 딥 피드포워드 네트워크에 매핑되며, 동적으로 계산된 오차 신호를 사용해 경사 하강법으로 훈련된다.
• 이 방법은 지도 분류 및 오토인코더 작업에서 평가되었으며, 고정된 피드백 가중치를 사용함에도 불구하고 경쟁 가능한 성능을 보였다.

실험 결과

연구 질문

• RQ1 피드백 가중치 학습 없이도 깊은 피드포워드 네트워크에서 오차 신호를 효과적으로 후방으로 전파할 수 있는가?
• RQ2 안정적인 동적 시스템을 사용하여 정방향 변환을 생물학적으로 타당한 방식으로 역전치할 수 있는가?
• RQ3 동적 역전치는 가중치 운반 문제를 피하면서도 표준 백프로파게이션과 비교해 유사한 성능을 달성할 수 있는가?
• RQ4 동적 역전치와 이차 최적화 방법 간의 관계는 무엇인가?
• RQ5 이 메커니즘은 더 복잡한 아키텍처나 생물학적 신경 회로로 확장될 수 있는가?

주요 결과

• 동적 역전치 방법은 고정 또는 무작위 피드백 가중치만을 사용하여 시냅스에 대한 신용 할당을 성공적으로 수행하며, 피드백 연결을 위한 추가 학습 문제의 필요성을 제거한다.
• 이 방법은 지도 학습 작업과 오토인코더 훈련에서 경쟁 가능한 성능을 달성하며, 가중치 운반 없이 효과적인 오차 역전파를 보여준다.
• 동적 시스템의 안정적 수렴은 정확한 기울기 근사 보장하며, 성능은 제어 동역학과 피드백 가중치 초기화에 따라 달라진다.
• 이 방법은 수학적으로 이차 최적화와 연결되어 있어 학습의 수렴성 향상과 조건 개선 잠재력을 제안한다.
• 모델는 상향 피드백과 활동의 계층적 감속과 같은 알려진 생물학적 제약과 일치하여,皮질 회로에서의 타당성을 뒷받침한다.
• 다소 유망한 결과에도 불구하고, 이 방법은 느린 수렴을 보이며, 이는 이차 방법와 유사한 보수적인 갱신 방향 때문일 수 있다.