[논문 리뷰] Task-Driven Convolutional Recurrent Models of the Visual System

Aran Nayebi, Daniel M. Bear외 6명|arXiv (Cornell University)|2018. 06. 20.

Neural dynamics and brain function참고 문헌 32인용 수 121

한 줄 요약

이 논문은 현지 재발(recurrence)과 장거리 피드백을 CNN에 통합하여 ConvRNNs를 형성하고, 하이퍼파라미터 검색을 통해 효과적인 로컬 재발 셀을 발견하며, 이 모델이 프리메이트 원숭이의 시각 역학과 더 깊은 피드포워드 네트워크에 비해 파라미터 수가 적은 상태에서도 같은 수준의 성능을 보임을 보인다.

ABSTRACT

Feed-forward convolutional neural networks (CNNs) are currently state-of-the-art for object classification tasks such as ImageNet. Further, they are quantitatively accurate models of temporally-averaged responses of neurons in the primate brain's visual system. However, biological visual systems have two ubiquitous architectural features not shared with typical CNNs: local recurrence within cortical areas, and long-range feedback from downstream areas to upstream areas. Here we explored the role of recurrence in improving classification performance. We found that standard forms of recurrence (vanilla RNNs and LSTMs) do not perform well within deep CNNs on the ImageNet task. In contrast, novel cells that incorporated two structural features, bypassing and gating, were able to boost task accuracy substantially. We extended these design principles in an automated search over thousands of model architectures, which identified novel local recurrent cells and long-range feedback connections useful for object recognition. Moreover, these task-optimized ConvRNNs matched the dynamics of neural activity in the primate visual system better than feedforward networks, suggesting a role for the brain's recurrent connections in performing difficult visual behaviors.

연구 동기 및 목표

• 피드포워드 CNNs를 넘어 시각적 객체 인식에서 재발과 피드백의 역할을 동기부여하고 정량화한다.
• ImageNet 규모에서 현실적인 피질유사 타이밍으로 작동할 수 있는 ConvRNNs를 개발한다.
• 성능을 향상시키는 로컬 재발 셀 모티프와 장거리 피드백 패턴을 식별한다.
• 작업 최적화된 ConvRNNs가 원숫이의 복측 시각 스트림에서의 신경 역학을 예측하는지 평가한다.

제안 방법

• 표준 CNN 백본에 로컬 재발 셀과 장거리 피드백을 추가하고 뇌피질 전도 지연 약 10 ms에 정렬된 시간 스텝 업데이트 규칙을 사용한다.
• ConvRNN을 매개변수 매칭된 더 넓고 깊은 피드포워드 베이스라인 및 최소한으로 언롤된 대조군과 비교하여 재발 효과를 분리한다.
• 로컬 재발 유닛 내에서 바이패싱과 게이팅을 결합하는 Reciprocal Gated Cell을 도입하고 평가한다.
• 로컬 및 글로벌 재발이 다른 수백 개의 ConvRNN 변형에 대해 Tree-structured Parzen Estimator를 사용한 아키텍처 탐색을 자동화한다.
• ImageNet에서 모델을 학습시키고(더 빠른 탐색을 위한 128 px 부분집합 포함) Top1 정확도를 ResNet-18/34 베이스라인과 비교한다.
• ConvRNN 특징을 선형 매핑과 시간해상 예측을 사용하여 macaque V4, pIT, 및 cIT/aIT 신경 역학에 맞춘다.

실험 결과

연구 질문

• RQ1 표준 재발 셀(일반 RNN, LSTM)을 CNN에 추가하면 매개변수 매칭된 베이스라인을 넘어서 ImageNet 성능이 향상되는가?
• RQ2 게이팅과 바패싱을 포함하는 새로운 로컬 재발 셀은 ImageNet에서 깊은 CNN의 표준 셀보다 더 나은 성능을 보일 수 있는가?
• RQ3 객체 인식을 위해 최적이 되는 아키텍처 모티프(로컬 재발 및 장거리 피드백)는 어떤 것이며 네트워크 깊이에 따라 어떻게 확장되는가?
• RQ4 작업 최적화된 ConvRNNs가 피드포워드 모델보다 원숭이의 복측 시각 스트림의 시간적 신경 역학을 더 잘 포착하는가?

주요 결과

• 표준 RNN과 LSTMs는 매개변수 매칭된 베이스라인을 넘어서 ImageNet 성능을 크게 향상시키지 못한다.
• 게이팅과 바패싱이 결합된 Reciprocal Gated Cell은 LSTMs보다 적은 매개변수를 사용하면서 정확도를 크게 향상시킨다.
• 하이퍼파라미터 탐색은 히든 상태 업데이트를 위한 깊이-분리 합성곱과 선택적 장거리 피드백이 유익하다고 밝혀졌다.
• 학습 후 중간값 ConvRNN은 매개변수의 약 75%로 ResNet-34와 비슷한 성능을 내며(15.5M 대 21.8M), 더 깊은 모델과 비교해 거의 최상위 1위에 근접한 정확도(텍스트에서 ResNet-34의 73.1%와 비교해 73.1%로 보고) 달성한다.
• ImageNet에서 학습된 ConvRNN은 피질 복측 스트림의 신경 역학(V4에서 IT까지)을 피드포워드 특징만큼 좋거나 더 잘 예측하며, 지속적인 시간 궤도가 후기 단계 예측을 개선한다. 시간 상수만 가진 모델은 ConvRNN 성능에 미치지 못한다.
• 완전 학습된 ConvRNN은 시간상 단일 이미지 신경 역학을 예측하는 데 있어 피드포워드 베이스라인보다 더 우수하며 재발이 초기 피드포워드 반응을 넘어 풍부한 시간적 구조를 포착함을 시사한다.