[논문 리뷰] The Ebb and Flow of Deep Learning: a Theory of Local Learning.

Pierre Baldi, Peter Sadowski|arXiv (Cornell University)|2015. 06. 22.

Neural Networks and Applications참고 문헌 27인용 수 6

한 줄 요약

이 논문은 깊이 신경망에서 국소 학습 규칙에 대한 이론적 프레임워크를 제안하며, 이를 전후 시냅스 활동과 같은 국소 변수의 다항함수로 모델링한다. 표준 백프로파게이션은 복잡한 함수 학습을 가능하게 하는 최대의 역방향 채널 용량을 달성하는 반면, 다른 국소 규칙들은 실패함으로써 학습 규칙이 발견된 빈도가 낮은 이유를 설명하고 히브시안 학습의 한계를 명확히 한다.

ABSTRACT

In a physical neural system, where storage and processing are intimately intertwined, the rules for adjusting the synaptic weights can only depend on variables that are available locally, such as the activity of the pre- and post-synaptic neurons, resulting in local learning rules. A systematic framework for studying the space of local learning rules must first define the nature of the local variables, and then the functional form that ties them together into each learning rule. We consider polynomial local learning rules and analyze their behavior and capabilities in both linear and non-linear networks. As a byproduct, this framework enables also the discovery of new learning rules as well as important relationships between learning rules and group symmetries. Stacking local learning rules in deep feedforward networks leads to deep local learning. While deep local learning can learn interesting representations, it cannot learn complex input-output functions, even when targets are available for the top layer. Learning complex input-output functions requires local deep learning where target information is propagated to the deep layers through a backward channel. The nature of the propagated information about the targets, and the backward channel through which this information is propagated, partition the space of learning algorithms. For any learning algorithm, the capacity of the backward channel can be defined as the number of bits provided about the gradient per weight, divided by the number of required operations per weight. We estimate the capacity associated with several learning algorithms and show that backpropagation outperforms them and achieves the maximum possible capacity. The theory clarifies the concept of Hebbian learning, what is learnable by Hebbian learning, and explains the sparsity of the space of learning rules discovered so far.

연구 동기 및 목표

• 국소 변수와 다항 함수 형태를 기반으로 국소 학습 규칙을 분석하는 체계적인 프레임워크를 정형화하는 것.
• 선형 및 비선형 네트워크에서 다항 국소 학습 규칙의 표현 및 학습 능력을 조사하는 것.
• 목표 정보의 역방향 채널 용량을 최대화함으로써 백프로파게이션 알고리즘이 다른 국소 학습 알고리즘보다 뛰어난 이유를 명확히 하는 것.
• 히브시안 학습의 한계와 가능한 규칙 공간 내에서 발견된 학습 규칙의 흐릿함을 설명하는 것.

제안 방법

• 전후 시냅스 활동의 다항 함수로 국소 학습 규칙을 정의하여 후보 규칙의 구조화된 공간을 형성하는 것.
• 피드포워드 네트워크에서 이러한 규칙의 행동을 분석하며, 타겟 피드백이 없는 깊이 국소 학습과 타겟 정보의 역방향 전파가 있는 국소 깊이 학습을 구분하는 것.
• 각 가중치당 연산당 기울기 정보의 비트 수로 정의된 역방향 채널 용량 개념을 도입하여 학습 알고리즘의 효율성을 정량화하는 것.
• 백프로파게이션을 포함한 다양한 학습 알고리즘의 역방향 채널 용량을 추정하여 이론적 학습 잠재력의 비교를 수행하는 것.
• 군 대칭성 분석을 통해 학습 규칙 간의 구조적 관계와 그들에 대한 불변성을 밝혀내는 것.
• 오직 높은 역방향 채널 용량을 가진 알고리즘—백프로파게이션과 같은 것들—만이 복잡한 입력-출력 함수를 학습할 수 있음을 입증하는 것.

실험 결과

연구 질문

• RQ1 국소 학습 규칙의 이론적 공간은 무엇이며, 국소 변수의 다항 함수를 통해 어떻게 시스템적으로 탐색할 수 있는가?
• RQ2 타겟 정보가 최상위 레이어에 존재함에도 불구하고 표준 깊이 국소 학습 규칙이 복잡한 함수를 학습하지 못하는 이유는 무엇인가?
• RQ3 목표 정보를 위한 역방향 채널 용량이 국소 학습 알고리즘의 학습 능력에 어떻게 영향을 미치는가?
• RQ4 정보 전송 효율성 측면에서 백프로파게이션은 다른 국소 학습 규칙들과 어떻게 다를까?
• RQ5 왜 발견된 학습 규칙의 공간이 이렇게 흐릿한가? 그리고 군 대칭성은 이 흐릿함과 어떻게 관련이 있는가?

주요 결과

• 다항 국소 학습 규칙는 새로운 학습 규칙의 발견을 가능하게 하고 군 대칭성과의 연결 고리를 드러내는 구조화된 프레임워크를 형성한다.
• 역방향 타겟 전파가 없는 깊이 국소 학습—즉, 타겟 피드백이 없는 경우—는 심지어 최상위 레이어에 레이블이 존재하더라도 복잡한 입력-출력 함수를 학습할 수 없다.
• 복잡한 함수를 학습하기 위해서는 타겟 정보의 역방향 전파가 있는 국소 깊이 학습이 필요하며, 이는 피드백의 핵심적 역할을 강조한다.
• 백프로파게이션은 정의된 바와 같이 각 가중치당 연산당 기울기 비트 수로 정의된 최대 가능한 역방향 채널 용량을 확보하며, 이는 모든 다른 국소 학습 알고리즘을 능가한다.
• 이 이론은 히브시안 학습이 단순하고 저차원의 표현만을 학습할 수 있으며, 복잡한 함수 매핑을 포괄할 수 없다는 점을 설명한다.
• 발견된 학습 규칙의 흐릿함은 오직 높은 역방향 채널 용량을 가진 규칙—즉, 복잡한 함수의 효과적인 학습을 가능하게 하는 소수의 규칙들—만이 효과적인 학습을 가능하게 한다는 사실에 기인한다.