[논문 리뷰] Backpropagation and Biological Plausibility

Alessandro Betti, Marco Gori외 1명|arXiv (Cornell University)|2018. 08. 21.

Neural Networks and Applications참고 문헌 2인용 수 3

한 줄 요약

이 논문은 손실 함수, 활성화, 승수를 포함하는 라그랑주 수반 공간에서의 안장점 탐색으로서 초순서 학습을 공식화하여, 백프로파게이션의 생물학적으로 타당하지 않은 점을 대체하는 생물학적으로 타당한 방법을 제안한다. 가중치는 경사 하강법으로, 활성화는 경사 하강법으로, 승수는 경사 상승법으로 업데이트함으로써, 백프로파게이션의 비국소적 가중치 전송 문제를 피하면서도, ℓ₁ 정규화를 통한 지지 신경망 식별을 통해 자동으로 네트워크 아키텍처를 구성할 수 있는 완전히 局소적인 학습 동역학을 달성한다.

ABSTRACT

By and large, Backpropagation (BP) is regarded as one of the most important neural computation algorithms at the basis of the progress in machine learning, including the recent advances in deep learning. However, its computational structure has been the source of many debates on its arguable biological plausibility. In this paper, it is shown that when framing supervised learning in the Lagrangian framework, while one can see a natural emergence of Backpropagation, biologically plausible local algorithms can also be devised that are based on the search for saddle points in the learning adjoint space composed of weights, neural outputs, and Lagrangian multipliers. This might open the doors to a truly novel class of learning algorithms where, because of the introduction of the notion of support neurons, the optimization scheme also plays a fundamental role in the construction of the architecture.

연구 동기 및 목표

• 백프로파게이션의 비국소적 가중치 전송에 의존하기 때문에 생물학적으로 타당하지 않다는 오랜 비판을 해결하기 위해.
• 백프로파게이션의 최적화 능력을 유지하면서도 모든 업데이트가 국소적이며 생물학적 맥락에서 계산적으로 실현 가능한 학습 알고리즘을 개발하기 위해.
• 라그랑주 프레임워크가 ℓ₁ 정규화를 통해 지속적으로 지지 신경망과 희박한 네트워크 아키텍처의 출현을 자연스럽게 이끌 수 있는지 탐색하기 위해.
• 수반 공간(가중치, 활성화, 라그랑주 승수)에서의 안장점 탐색이 백프로파게이션과 동일한 渐近 복잡도를 가지며 완전히 국소적인 학습 알고리즘을 제공함을 보여주기 위해.

제안 방법

• 신경망 동역학을 등식 제약 조건으로 삼는 라그랑주를 사용하여 초순서 학습을 제약 최적화 문제로 공식화하기.
• 손실, 은닉 신경망 활성화에 대한 ℓ₁ 정규화, 신경계산 제약 조건을 강제하는 라그랑주 승수를 포함하는 라그랑주 정의하기.
• 라그랑주의 정적 조건을 유도하여, 가중치와 활성화에 대한 경사 하강, 승수에 대한 경사 상승 업데이트를 도출하기.
• 각 신경망이 자신의 입력과 출력에 대해 국소적으로 자체의 기울기를 계산하는 공동 업데이트 규칙을 구현하여 전역적 백프로파게이션을 피하기.
• 은닉 신경망 활성화에 ℓ₁ 정규화를 도입하여 지지 신경망(λᵢᵏ ≠ 0)과 허수 신경망(λᵢᵏ = 0)을 구분함으로써 자동으로 네트워크 프루닝과 아키텍처 구성이 가능하게 하기.
• 알고리즘이 표준 백프로파게이션과 동일한 Θ(|𝒜|·ℓ) 시간 복잡도로 작동함을 보여주며, 이는 계산적 효율성을 보장함.

실험 결과

연구 질문

• RQ1 라그랑주 형식 기반의 학습 알고리즘이 비국소적 가중치 전송이 없이도 백프로파게이션과 동일한 최적화 성능을 달성할 수 있는가?
• RQ2 지지 신경망의 개념이 라그랑주 안장점 프레임워크에서 어떻게 자연스럽게 출현하며, 네트워크 아키텍처 구성에서 그 역할은 무엇인가?
• RQ3 제안된 방법이 비국소적 가중치 전송이 필요 없게 하여, 백프로파게이션의 생물학적 타당성에 대한 핵심적 비판을 해결하는가?
• RQ4 알고리즘이 온라인 및 미니배치 학습으로 확장될 수 있으며, 이때도 국소적 업데이트 구조를 유지할 수 있는가?
• RQ5 은닉 활성화에 대한 ℓ₁ 정규화가 지지 신경망 식별을 통해 어떻게 희박하고 프루닝된 아키텍처의 출현을 이끌어내는가?

주요 결과

• 제안된 알고리즘은 가중치를 경사 하강법으로, 활성화를 경사 하강법으로, 라그랑주 승수를 경사 상승법으로 업데이트함으로써 비국소적 가중치 전송이 필요 없이 완전히 국소적인 학습 동역학을 달성한다.
• 라그랑주의 정적 조건은 αₖⱼ = 0일 때 고전적 백프로파게이션 분해를 회복하며, 정규화 없이도 표준 백프로파게이션과 일관성을 보인다.
• ℓ₁ 정규화를 통해 알고리즘은 지지 신경망(λₖᵢ ≠ 0)과 허수 신경망(λₖᵢ = 0)을 자연스럽게 식별하여 자동으로 네트워크 프루닝과 아키텍처 구성이 가능해진다.
• 알고리즘은 표준 백프로파게이션과 동일한 渐近 시간 복잡도 Θ(|𝒜|·ℓ)를 유지하여 계산적 효율성을 확보한다.
• 데이터 유도 제약 조건을 라그랑주 프레임워크에 통합함으로써, 알고리즘은 순환 네트워크 및 구조적 데이터(예: 그래프)로의 확장이 가능하다.
• 알고리즘의 국소적 성격은 특히 배치 모드 또는 고유한 시간적 구조를 가진 작업에서 생물학적으로 타당할 수 있음을 시사하지만, 온라인 확장은 중간 변수의 예측이 필요하다.