[논문 리뷰] The least-control principle for local learning at equilibrium

Alexander Meulemans, Nicolas Zucchet외 3명|arXiv (Cornell University)|2022. 07. 04.

Functional Brain Connectivity Studies인용 수 15

한 줄 요약

이 논문은 순환 및 딥 균형 네트워크와 같은 균형 시스템을 위한 생물학적으로 타당하고 국소적이며 기울기 기반의 학습 규칙인 최소 제어 원리(LCP)를 소개한다. 균형 상태에 도달하기 위해 필요한 제어 노력의 최소화로 학습을 정의함으로써, LCP는 활동에 따라 변하는 신용 할당을 가능하게 하며, 중간 상태를 저장하지 않고도 효율적인 메모리 없는 학습을 가능하게 하며, 피드포워드, 순환, 메타학습 작업 전반에서 최신 기울기 기반 방법과 비교해 유사한 성능을 달성한다.

ABSTRACT

Equilibrium systems are a powerful way to express neural computations. As special cases, they include models of great current interest in both neuroscience and machine learning, such as deep neural networks, equilibrium recurrent neural networks, deep equilibrium models, or meta-learning. Here, we present a new principle for learning such systems with a temporally- and spatially-local rule. Our principle casts learning as a least-control problem, where we first introduce an optimal controller to lead the system towards a solution state, and then define learning as reducing the amount of control needed to reach such a state. We show that incorporating learning signals within a dynamics as an optimal control enables transmitting activity-dependent credit assignment information, avoids storing intermediate states in memory, and does not rely on infinitesimal learning signals. In practice, our principle leads to strong performance matching that of leading gradient-based learning methods when applied to an array of problems involving recurrent neural networks and meta-learning. Our results shed light on how the brain might learn and offer new ways of approaching a broad class of machine learning problems.

연구 동기 및 목표

• 순환 및 균형 신경망을 위한 생물학적으로 타당하고 국소적인 학습 규칙을 개발하는 데 도전하는 것.
• 백프로파게이션의 한계, 즉 비국소성과 중간 상태의 저장에 의존하는 문제를 해결하는 것.
• 딥 균형 모델 및 메타학습을 포함한 균형 시스템의 학습을 통합적 제어 이론 프레임워크 아래 통합하는 것.
• 무한소 학습 신호에 의존하지 않고도 활동에 따라 변하는 시간적·공간적으로 국소적인 신용 할당을 가능하게 하는 것.

제안 방법

• 균형 상태에 도달하기 위해 필요한 제어 입력의 최소화를 목표로 하는 최소 제어 최적 제어 문제로 학습을 재정의한다.
• 시스템을 낮은 제어량의 균형 상태로 이끄는 피드백을 적용하는 보조 제어기를 도입하며, 학습은 이에 필요한 제어량을 줄이는 것으로 정의된다.
• 최소 제어 문제의 최적성 조건에서 국소적이고 기울기 기반의 학습 규칙을 유도하여, 균형 상태에서 모든 필요한 정보가 국소적으로 가용함을 보장한다.
• 완전 연결, 컨볼루션, 순환, 딥 균형 네트워크뿐만 아니라 메타학습 설정까지 다양한 아키텍처에 원리를 적용한다.
• 실제 구현을 위해 이산화된 동역학 공식을 사용하며, 업데이트는 제어 목표의 기울기에서 유도된다.
• 한계 경우에서 알려진 방법들(예: 균형 전파, 대비 메타학습)과 동치임을 입증하며, 통합된 이론적 기반을 제공한다.

실험 결과

연구 질문

• RQ1 중간 상태를 저장하지 않고도 중간 상태를 저장하지 않고도 균형 시스템에 대해 국소적이고 생물학적으로 타당한 학습 규칙를 유도할 수 있는가?
• RQ2 비국소적 백프로파게이션에 의존하지 않고 네트워크 활동에 통합된 신용 할당을 어떻게 구현할 수 있는가?
• RQ3 균형 시스템에서 최소 제어 목표와 원래 손실 함수 사이의 관계는 무엇인가?
• RQ4 최소 제어 원리는 순환 및 메타학습 설정에서 기울기 기반 방법과 유사한 성능을 달성할 수 있는가?
• RQ5 이 원리는 딥 균형 모델 및 순환 네트워크를 포함한 다양한 아키텍처로 어떻게 일반화되는가?

주요 결과

• 최소 제어 원리(LCP)는 중간 상태를 저장하거나 무한소 신호에 의존하지 않고도 기울기 추종, 국소적, 활동에 따라 변하는 학습을 균형 시스템에서 가능하게 한다.
• LCP는 피드포워드, 순환, 딥 균형 네트워크에서 최신 기울기 기반 방법과 유사한 성능을 달성하며, 20-way 1-shot Omniglot 분류 작업에서도 성능을 보인다.
• Omniglot 벤치마크에서 FOMAML 및 Reptile의 성능을 matching하거나 초월하며, 20-way 1-shot 정확도는 89.4%를 기록한다.
• 이론적 분석 결과, 최소 제어 문제의 해는 특정 조건 하에서 원래 손실의 최소값 또는 그 경계와 대응함을 보여준다.
• 이 프레임워크는 균형 전파 및 대비 메타학습과 같은 기존의 여러 방법들을 공통의 제어 이론적 해석 아래 통합한다.
• 이산화된 동역학 공식은 단일 네트워크 통과를 통해 안정적이고 효율적인 학습을 가능하게 하며, 시간에 따라 역전파를 방지한다.