[논문 리뷰] Bridging the Gaps Between Residual Learning, Recurrent Neural Networks and Visual Cortex

Qianli Liao, Tomaso Poggio|arXiv (Cornell University)|2016. 04. 13.

Neural dynamics and brain function참고 문헌 37인용 수 194

한 줄 요약

이 논문은 잔차 네트워크가 가중치 공유를 가진 얕은 순환 네트워크와 형식적으로 동등하다고 보이며, ventral visual stream 처리와 유사한 다상태 순환 모델로 일반화되고, CIFAR-10과 ImageNet에서 시간 특화 배치 정규화를 사용해 평가된다.

ABSTRACT

We discuss relations between Residual Networks (ResNet), Recurrent Neural Networks (RNNs) and the primate visual cortex. We begin with the observation that a special type of shallow RNN is exactly equivalent to a very deep ResNet with weight sharing among the layers. A direct implementation of such a RNN, although having orders of magnitude fewer parameters, leads to a performance similar to the corresponding ResNet. We propose 1) a generalization of both RNN and ResNet architectures and 2) the conjecture that a class of moderately deep RNNs is a biologically-plausible model of the ventral stream in visual cortex. We demonstrate the effectiveness of the architectures by testing them on the CIFAR-10 and ImageNet dataset.

연구 동기 및 목표

• 잔차 네트워크(ResNet), 순환 신경망(RNN), 그리고 포유류 시각 피질 사이의 관계를 동기 부여하고 연구한다.
• 매우 깊은 ResNet의 성능과 맞먹을 수 있는 가중치 공유를 가진 얕은 RNN를 입증한다.
• 생물학적으로 타당한 다상태 순환 모델의 클래스로 일반화하고 CIFAR-10 및 ImageNet에서 ventral visual stream을 평가한다.
• 시간 특화 배치 정규화(TSBN)를 도입하고 RNN에서 ReLU와 순환 연결과 함께 학습을 개선하는지 보여준다.
• 생물학적 타당성과 딥 러닝 및 신경과학의 향후 방향에 대한 시사점을 논의한다.

제안 방법

• 가중치 공유가 있는 ResNet과 h_t+1 = K(h_t) + h_t를 구현하는 특정 RNN 간의 형식적 등가성을 확립한다.
• ventral stream의 단계(LGN, V1, V2, V4, IT)를 모델링하는 방향 그래프에서 다상태 완전 순환 네트워크(FRNN)로 일반화한다.
• 상태 간 연산을 정의하고 시간에 따라 전이(transitions)를 다르게 하는 전이 행렬을 사용하며 end-to-end 학습을 위한 프리-네트(net)와 포스트-네트(net) 구성요소를 활용한다.
• 가중치 공유 스키마를 도입하고 읽기(readout) 시간 t를 시 unrolling 깊이로 간주하여 생물학적 시점을 네트워크 깊이와 연결한다.
• ReLUs와 순환 연결이 있는 RNN의 학습 안정화를 돕기 위한 시간 특화 배치 정규화(TSBN)를 제안한다.

실험 결과

연구 질문

• RQ1 ResNet은 가중치가 공유되는 RNN으로 형식적으로 해석될 수 있으며, 순환 시스템으로 펼쳐도 성능을 유지하는가?
• RQ2 다상 FRNN 구조가 CIFAR-10 및 ImageNet에 대해 생물학적으로 타당하고 효과적인 ventral visual stream 모델을 제공하는가?
• RQ3 시간 특화 배치 정규화가 순환 전이와 ReLU를 갖는 RNN의 학습 안정성과 성능을 향상시키는가?
• RQ4 읽기 시간(언롤링 깊이)이 ResNet 유사 및 FRNN 모델의 정확도와 일반화에 어떤 영향을 미치는가?
• RQ5 다중 상태 순환 아키텍처에서 공유 가중치와 비공유 가중치 간의 트레이드오프는 데이터셋 간에 어떤 차이가 있는가?

주요 결과

모형	오류 (%)	깊이	학습	에폭
All-CNN	7.25%	11	350	350
Highway Network	7.72%	19	400	400
ResNet-110	6.61%	110	200	200
ResNet-164	5.46%	164	200	200
ResNet-1001	4.69%	1001	200	200
Human [ Karpathy, 2011 ]	approx 6%	Recurrent	-	-
3-state FRNN (readout t=5)	7.44%	13 (unrolled)	60	60
3-state FRNN (readout t=10)	6.86%	23 (unrolled)	60	60

• 가중치를 시간에 걸쳐 공유하는 ResNet은 깊이에 따라 펼쳐진 얕은 RNN과 형식적으로 동등하다.
• 가중치 공유 RNN은 파라미터를 크게 줄이면서도 ResNet의 성능의 대부분을 유지할 수 있다.
• 3-상태 FRNN 및 4-상태 FRNN은 읽기 타임이 성능에 영향을 주면서 CIFAR-10에서 이전 최적 모델에 비견되는 경쟁력 있는 결과를 얻는다.
• ImageNet에서, 공유 가중치 4-상태 FRNN은 특정 설정에서 더 깊은 아키텍처의 결과에 근접할 수 있다.
• 시간 특화 배치 정규화는 ReLU를 사용하는 순환 네트워크의 학습을 안정화하고 이전 학습의 어려움을 해결한다.
• 모형은 생물학적 타당성에 더 잘 부합하는 경향을 보여주며 피질 유사 순환 처리가 빠른 시각 인식을 어떻게 지원할 수 있는지에 대한 인사이트를 제공한다.