[논문 리뷰] Minimizing Control for Credit Assignment with Strong Feedback

Alexander Meulemans, Matilde Tristany Farinha외 3명|arXiv (Cornell University)|2022. 04. 14.

Neuroinflammation and Neurodegeneration Mechanisms인용 수 4

한 줄 요약

이 논문은 강한 피드백 신호를 사용하여 신경망을 지도학습 목표로 유도하는 생물학적으로 타당한 신용 할당 방법인 Strong-DFC를 소개한다. 이는 손실 최소화가 아니라 제어 노력 최소화로 최적화를 재정의한다. 완전히 局소적이고 시간적으로 동기화된 가소성 규칙을 사용하여 전방 및 피드백 가중치를 동시에 학습할 수 있으며, 시각 벤치마크에서 경쟁력 있는 성능을 달성하면서 노이즈에 강건하다. 이는 생물학적으로 타당하지 않은 가정(예: 약한 피드백 또는 가중치 묶음)을 피하는 새로운 제어 이론적 시각을 제시한다.

ABSTRACT

The success of deep learning ignited interest in whether the brain learns hierarchical representations using gradient-based learning. However, current biologically plausible methods for gradient-based credit assignment in deep neural networks need infinitesimally small feedback signals, which is problematic in biologically realistic noisy environments and at odds with experimental evidence in neuroscience showing that top-down feedback can significantly influence neural activity. Building upon deep feedback control (DFC), a recently proposed credit assignment method, we combine strong feedback influences on neural activity with gradient-based learning and show that this naturally leads to a novel view on neural network optimization. Instead of gradually changing the network weights towards configurations with low output loss, weight updates gradually minimize the amount of feedback required from a controller that drives the network to the supervised output label. Moreover, we show that the use of strong feedback in DFC allows learning forward and feedback connections simultaneously, using learning rules fully local in space and time. We complement our theoretical results with experiments on standard computer-vision benchmarks, showing competitive performance to backpropagation as well as robustness to noise. Overall, our work presents a fundamentally novel view of learning as control minimization, while sidestepping biologically unrealistic assumptions.

연구 동기 및 목표

• 피드백이 약하고 국소적이지 않은 가중치 업데이트에 의존하는 케라믹 네트워크에서 백프로파게이션의 생물학적 비타당성을 해결하기 위해.
• 신경과학에서 관찰된 강한 상향 피드백과 호환되며, 밀도적으로 조율된 가소성 단계가 필요하지 않은 기울기 기반의 신용 할당 방법을 개발하기 위해.
• 피드백 및 전방 가중치를 오직 국소적이고 시간적으로 정렬된 신호만을 사용하여 동시에 학습시키기 위해.
• 손실 최소화가 아니라 목표 출력에 도달하기 위한 제어 노력 최소화가 딥 네트워크에서 원칙적인 최적화 목표로 작용할 수 있음을 보여주기 위해.

제안 방법

• 이 방법은 현재 출력을 약하게 이동시키는 대신 고정된 지도학습 목표에 맞게 네트워크 활동을 유도하는 피드백 제어기를 사용한다.
• 가중치 업데이트는 목표에 도달하기 위해 필요한 피드백 제어 에너지를 측정하는 서rogate 손실의 음의 기울기에서 유도된다.
• 학습 규칙은 공간적·시간적으로 완전히 국소적이며, 각 시냅스에서 전행 및 후행 활동 및 피드백 신호에만 의존한다.
• 전방 가중치와 함께 피드백 가중치도 동시에 업데이트되어, DFC와 같은 이전 방법에서 요구하는 이중 단계 학습 요구를 제거한다.
• 강한 피드백이 신경 활동을 크게 변화시키는 동적 피드백 메커니즘을 활용하여 노이즈에 강건함을 확보한다.
• 이론적 분석은 탄력적인 피드백 연결 조건 하에서 업데이트가 제어 에너지 손실의 음의 기울기를 따르는 것으로 나타났다.

실험 결과

연구 질문

• RQ1 강한 피드백 신호를 사용하여 딥 네트워크의 신용 할당에 효과적으로 활용할 수 있는가, 학습 효율성에 손상이 가지 않는가?
• RQ2 목표 출력에 도달하기 위한 제어 노력 최소화가 딥 네트워크에서 효과적이고 안정적인 학습을 이끌 수 있는가?
• RQ3 오직 국소적이고 시간적으로 정렬된 가소성 규칙만을 사용하여 전방 및 피드백 가중치를 동시에 학습시킬 수 있는가?
• RQ4 백프로파게이션과 표준 DFC에 비해 성능 및 노이즈에 대한 강건성 측면에서 본 논문의 방법은 어떻게 비교되는가?
• RQ5 샘플 재사용에 대해 학습 과정이 불변함을 보이며, 이는 계속 학습 가능성의 잠재력을 시사하는가?

주요 결과

• Strong-DFC는 표준 컴퓨터 비전 벤치마크에서 백프로파게이션에 근접하는 정확도를 달성하여 경쟁력 있는 성능를 보였다.
• 신경 동역학의 노이즈에 강건하여, DFC가 안정적으로 학습에 실패하는 고노이즈 조건에서도 DFC를 능가하는 성능를 보였다.
• 샘플을 재방문하지 않고 학습하는 경우에도 표준 학습과 거의 동일한 성능를 기록하여, Strong-DFC가 동일한 데이터에 반복 노출에 의존하지 않음을 확인했다.
• Strong-DFC의 가중치 업데이트와 제어 손실의 진짜 기울기 사이의 일치도가 높아, 방법의 이론적 기반을 확인했다.
• 피드백과 전방 입력 크기의 비율이 유사하여, 피드백이 신경 활동을 형성하는 데 중요한 역할을 함을 보여주었다.
• 네트워크의 안정 상태 동역학과 피드백 행렬이 일치하는 조건 1이 잘 충족되어 있어, 이론적 가정을 지지하는 결과를 도출했다.