[논문 리뷰] Assessing the Scalability of Biologically-Motivated Deep Learning Algorithms and Architectures

Sergey Bartunov, Adam Santoro외 4명|arXiv (Cornell University)|2018. 07. 12.

Advanced Memory and Neural Computing인용 수 108

한 줄 요약

이 논문은 생물학적으로 동기 부여된 학습 알고리즘들(타깃 전파 변형과 피드백 정렬)을 MNIST, CIFAR-10, ImageNet에서 평가하고, 특히 로컬 연결 아키텍처를 사용할 때 백프로파게이션에 비해 ImageNet으로의 스케일링이 좋지 않다는 것을 발견합니다.

ABSTRACT

The backpropagation of error algorithm (BP) is impossible to implement in a real brain. The recent success of deep networks in machine learning and AI, however, has inspired proposals for understanding how the brain might learn across multiple layers, and hence how it might approximate BP. As of yet, none of these proposals have been rigorously evaluated on tasks where BP-guided deep learning has proved critical, or in architectures more structured than simple fully-connected networks. Here we present results on scaling up biologically motivated models of deep learning on datasets which need deep networks with appropriate architectures to achieve good performance. We present results on the MNIST, CIFAR-10, and ImageNet datasets and explore variants of target-propagation (TP) and feedback alignment (FA) algorithms, and explore performance in both fully- and locally-connected architectures. We also introduce weight-transport-free variants of difference target propagation (DTP) modified to remove backpropagation from the penultimate layer. Many of these algorithms perform well for MNIST, but for CIFAR and ImageNet we find that TP and FA variants perform significantly worse than BP, especially for networks composed of locally connected units, opening questions about whether new architectures and algorithms are required to scale these approaches. Our results and implementation details help establish baselines for biologically motivated deep learning schemes going forward.

연구 동기 및 목표

• 생물학적으로 동기 부여된 학습 알고리즘이 MNIST에서 CIFAR-10 및 ImageNet과 같은 harder 데이터셋으로 확장될 수 있는지 평가한다.
• 로컬 연결 대 인가된 가중치 공유 합성(convolution) 등 아키텍처 선택이 생물학적으로 타당한 학습에 어떤 영향을 주는지 평가한다.
• 그레이디언트 전달의 역할을 이해하기 위해 간소화된 DTP 변형을 포함한 baselines와 변형들을 제공한다.
• 대규모 컴퓨터 비전 작업에서 생물학적 현실성과 학습 성능이 합류하거나 벗어나는 지점을 제시한다

제안 방법

• DTP 및 SDTP를 포함한 타깃 전파(TP) 변형과 완전 연결 및 로컬 연결 아키텍처에서의 BP 및 FA 변형을 MNIST와 CIFAR-10에 대해 평가한다.
• DTP에서 그래디언트 전달과 가중치 전송을 제거한 Simplified Difference Target Propagation(SDTP)를 도입한다.
• penultimate-layer 타깃 다양성을 높이기 위한 보조 출력이 있는 AO-SDTP를 테스트한다.
• 데이터셋과 아키텍처 전반에 걸쳐 FA, DFA, 표준 BP(ConvNet 변형 포함)와 비교한다.
• 생물학적으로 타당한 학습의 효과에 대해 완전 연결 vs 로컬 연결 네트워크를 대조하여 가중치 공유의 역할을 조사한다.
• 논문에 설명된 대로 Adam 옵티마이저와 Glorot–Bengio 초기화, tanh 활성화 및 표준 학습 프로토콜을 활용한다

실험 결과

연구 질문

• RQ1 생물학적으로 동기 부여된 학습 알고리즘(TP 변형, FA, DFA)이 백프로파게이션과 유사한 성능으로 MNIST에서 CIFAR-10 및 ImageNet으로 확장될 수 있는가?
• RQ2 로컬 연결 아키텍처(가중치 공유 없음)가 TP/FA 학습에 표준 BP와 비교해 어떤 영향을 주는가?
• RQ3 SDTP의 단순화가 성능을 저해하는가, 아니면 저장된 엔트로피가 낮은 타깃(분류)과 높은 차원의 penultimate 표현에서 유지되는가?
• RQ4 보조 출력(AO-SDTP)을 추가하면 TP 기반 방법의 약한 penultimate-layer 타깃을 완화하는 데 도움이 되는가?
• RQ5 ImageNet과 같은 대규모 데이터셋에서 BP와 일치하는 한계와 병목 현상은 무엇인가?

주요 결과

• TP 및 FA 변형은 특정 아키텍처와 하이퍼파라미터에서 MNIST 및 CIFAR-10에서 BP에 근접할 수 있지만, 일반적으로 BP보다 성능이 떨어지며 특히 로컬 연결 계층에서 그렇다.
• SDTP는 MNIST에서 DTP와 유사하게 작동할 수 있지만 CIFAR-10에서 더 큰 차이를 보이며, 타깃 다양성과 좋은 역전 역연산의 중요성을 강조한다.
• FA와 DFA는 일부 TP 변형에서 성능 개선을 보이지만 ImageNet에서 BP보다 여전히 뒤처지며, DFA는 대규모 네트워크에서 메모리 제약이 있다.
• 합성/가중치 공유 네트워크는 방법 전반에서 로컬 연결_variant보다 성능이 뛰어나며, 아키텍처 선택이 생물학적으로 동기 부여된 학습의 효과에 큰 영향을 준다.
• 모든 생물학적으로 동기 부여된 알고리즘은 ImageNet에서 BP에 비해 상당한 성능 격차를 보이며, 대규모 데이터셋으로 확장하기 위한 새 아키텍처나 학습 규칙의 필요성을 시사한다.
• AO-SDTP는 타깃 다양성을 증가시켜 SDTP를 다소 개선할 수 있지만 CIFAR에서 BP에 미치지 못하고 ImageNet에서는 BP에 크게 못 미친다.