[논문 리뷰] Toward Goal-Driven Neural Network Models for the Rodent Whisker-Trigeminal System

Chengxu Zhuang, Jonas Kubilius외 2명|arXiv (Cornell University)|2017. 06. 23.

Neural dynamics and brain function참고 문헌 30인용 수 15

한 줄 요약

이 논문은 생물학적으로 타당한 털다람쥐 털날-삼각신경계 시스템을 모델링하기 위해 목표 지향적 딥뉴럴네트워크(DNN) 접근법을 제시한다. 3차원 물체 스윕에 대한 다양한 합성 데이터셋을 생성하기 위해 생물학적으로 현실적인 털다람쥐 배열 모델을 사용한다. 특정 DNN 아키텍처가 합리적인 형태 인식 성능을 달성할 수 있음을 입증하였고, Representational Dissimilarity Matrices(RDMs)가 신경생리학적 실험에서 실현 가능한 데이터 유형을 사용하여 이러한 모델들을 구별할 수 있음을 보여주며, 목표 지향적 DNN을 이용한 체감운동 계산 모델링의 개념 증명을 수립한다.

ABSTRACT

In large part, rodents see the world through their whiskers, a powerful tactile sense enabled by a series of brain areas that form the whisker-trigeminal system. Raw sensory data arrives in the form of mechanical input to the exquisitely sensitive, actively-controllable whisker array, and is processed through a sequence of neural circuits, eventually arriving in cortical regions that communicate with decision-making and memory areas. Although a long history of experimental studies has characterized many aspects of these processing stages, the computational operations of the whisker-trigeminal system remain largely unknown. In the present work, we take a goal-driven deep neural network (DNN) approach to modeling these computations. First, we construct a biophysically-realistic model of the rat whisker array. We then generate a large dataset of whisker sweeps across a wide variety of 3D objects in highly-varying poses, angles, and speeds. Next, we train DNNs from several distinct architectural families to solve a shape recognition task in this dataset. Each architectural family represents a structurally-distinct hypothesis for processing in the whisker-trigeminal system, corresponding to different ways in which spatial and temporal information can be integrated. We find that most networks perform poorly on the challenging shape recognition task, but that specific architectures from several families can achieve reasonable performance levels. Finally, we show that Representational Dissimilarity Matrices (RDMs), a tool for comparing population codes between neural systems, can separate these higher-performing networks with data of a type that could plausibly be collected in a neurophysiological or imaging experiment. Our results are a proof-of-concept that goal-driven DNN networks of the whisker-trigeminal system are potentially within reach.

연구 동기 및 목표

• 생물학적으로 현실적인 털다람쥐 털날 배열 모델을 개발하여 합성 감각 데이터 생성을 위한 기반을 마련한다.
• 다양한 3차원 형태 인식 작업을 위해 합성 털다람쥐 스윕 데이터를 기반으로 다양한 딥뉴럴네트워크 아키텍처를 훈련시킨다.
• 고성능 DNN가 Representational Dissimilarity Matrices(RDMs)와 같은 인구 수준의 신경 반응 지표를 통해 구별될 수 있는지 평가한다.
• 목표 지향적 딥러닝을 털다람쥐 털날-삼각신경계 시스템의 계산 작동 방식을 모델링하는 프레임워크로 사용할 수 있는 개념 증명을 수립한다.

제안 방법

• 털다람쥐 털날 배열의 생물학적으로 정보를 반영한 몸체 기반 모델을 개발하였으며, 이는 털다람쥐 털의 기계적 특성에 대한 정밀한 실험 측정 기반이다.
• 다양한 자세, 각도, 속도에서 117종의 3차원 물체 클래스에 대해 고변동성의 대규모 합성 데이터셋을 생성하였다.
• 다양한 아키텍처 패밀리(예: 전방향, 순환, 시간-공간적)의 다수의 DNN 아키텍처를 합성 데이터셋에서 형태 인식 작업을 해결하도록 훈련시켰다.
• 고성능 네트워크의 은닉층에 대해 Representational Dissimilarity Matrices(RDMs)를 계산하여 그 표현 구조를 비교하였다.
• 다양한 네트워크 아키텍처 간의 RDM을 시각화하고 비교하기 위해 다차원 척도법(MDS)을 사용하였다.
• 실험적으로 확보 가능한 신경 인구 반응 데이터를 대체로 사용한 RDM 기반의 모델 구별 가능성 여부를 평가하였다.

실험 결과

연구 질문

• RQ1 합성 털다람쥐 스윕 데이터로 훈련된 딥뉴럴네트워크가 높은 변동성 하에서 복잡한 3차원 형태 인식 작업에서 합리적인 성능을 달성할 수 있는가?
• RQ2 물체 자세와 스윕 동역학의 높은 변동성 하에서 형태 인식 작업을 해결하는 데 가장 효과적인 DNN 아키텍처 패밀리의 유형은 무엇인가?
• RQ3 DNN 은닉층에서 유도된 Representational Dissimilarity Matrices(RDMs)는 고성능 네트워크 아키텍처 간을 구별할 수 있는가?
• RQ4 RDM 기반 비교 방법은 신경생리학적 연구에서 경쟁적 계산 모델을 식별하는 데 실현 가능한 실험 도구로 충분히 민감한가?
• RQ5 DNN에서 학습된 표현 방식은 털다람쥐 털날-삼각신경계 시스템의 타당한 신경 처리 단계를 얼마나 잘 반영하는가?

주요 결과

• 다양한 아키텍처 패밀리에서 유래한 특정 아키텍처를 제외하고는 대부분의 DNN 아키텍처, 특히 얕은 아키텍처들이 높은 변동성 하에서 형태 인식 작업을 해결하지 못했지만, 특정 아키텍처들은 합리적인 성능 수준을 달성하였다.
• 고성능 네트워크에서 유도된 Representational Dissimilarity Matrices(RDMs)는 다차원 척도법을 사용하여 구분 가능한 고유한 패턴을 보였다.
• 다른 네트워크 아키텍처의 RDMs는 MDS 공간에서 분리된 군집을 형성하였으며, 이는 인구 수준의 신경 반응 패턴이 원리적으로 경쟁적 계산 모델을 식별할 수 있음을 시사한다.
• 모델 간의 아키텍처적 차이가, 랜덤 초기화에 따른 내부 모델 변동성 조정을 고려하더라도 RDM에 측정 가능한 차이를 초래하였다.
• 이 연구는 생물학적으로 타당한 감각 자극으로 훈련된 목표 지향적 DNN가 임무 관련 표현과 실험적으로 확보 가능한 지표를 통해 식별 가능한 표현을 생성할 수 있음을 입증한다.
• 결과적으로 목표 지향적 딥러닝이 털다람쥐 체감운동계의 계산 논리 모델링을 위한 프레임워크로 실현 가능하며, 향후 실험 데이터와의 통합 가능성도 있다.