[논문 리뷰] How can deep learning advance computational modeling of sensory information processing?

Jessica A. F. Thompson, Yoshua Bengio외 2명|arXiv (Cornell University)|2018. 09. 25.

Neural dynamics and brain function참고 문헌 26인용 수 13

한 줄 요약

이 논문은 깊이 있는 신경망(DNNs)이 인지 수준 이론과 신경 구현 사이의 격차를 메우는 더 생물학적으로 타당한 데이터 기반 표현을 가능하게 하여 감각 정보 처리의 계산 모델링을 크게 발전시킨다고 주장한다. 대표적 유사성 분석(RSA)과 인코딩 모델과 같은 신경영상 기법과 DNNs를 통합함으로써, 저자들은 DNNs가 감각 처리 경로 전반에 걸쳐 신경 표현의 형태와 내용에 대해 더 강력하고 해석 가능한 결론을 이끌어내는 데 기여함을 보여준다.

ABSTRACT

Deep learning, computational neuroscience, and cognitive science have overlapping goals related to understanding intelligence such that perception and behaviour can be simulated in computational systems. In neuroimaging, machine learning methods have been used to test computational models of sensory information processing. Recently, these model comparison techniques have been used to evaluate deep neural networks (DNNs) as models of sensory information processing. However, the interpretation of such model evaluations is muddied by imprecise statistical conclusions. Here, we make explicit the types of conclusions that can be drawn from these existing model comparison techniques and how these conclusions change when the model in question is a DNN. We discuss how DNNs are amenable to new model comparison techniques that allow for stronger conclusions to be made about the computational mechanisms underlying sensory information processing.

연구 동기 및 목표

• 신경영상에서 모델 비교 기법을 사용할 때, 특히 깊이 있는 신경망(DNNs)을 평가 대상으로 삼을 경우 도출할 수 있는 결론의 유형을 명확히 하기 위해.
• 다양한 변수와 분포된 신경 표현을 포괄하지 못하는传통적 방법(예: MVPA 및 인코딩 모델)의 한계를 해결하기 위해.
• 복잡하고 계층적인 표현을 데이터에서 학습할 수 있는 더 생물학적으로 타당한 모델로서 DNNs의 사용를 지지하기 위해.
• 공통된 표현 공간을 통해 DNNs와 뇌 활동을 통합함으로써, 모델 표현과 신경 표현 간 직접 비교를 가능하게 하기 위해.
• DNNs를 활용하여 계산 이론과 신경 구현을 동시에 제약하고 정보를 제공하는 방식으로 인지신경과학의 내부에서 시작하는 접근법을 발전시키기 위해.

제안 방법

• 표현 유사성 분석(RSA)을 사용하여 뇌 활동의 다변량 패턴을 계산 모델의 패턴과 비교함으로써, 다중 모odal 및 다중 종 간 비교를 가능하게 한다.
• 자극 특징에서 뇌 활동을 예측하는 인코딩 모델을 활용하며, 역행을 통해 다변량 정보를 복원할 수 있도록 확장한다.
• DNNs와 신경영상 데이터를 공통된 표현 공간에 투영하여 직접 통합함으로써, 처리 단계 전반에 걸친 평가가 가능하도록 한다.
• 기능적 또는 구조적 MRI 데이터에서 유도된 그래프 이론적 방법을 사용하여 뇌 그래프를 정의하며, 이는 DNN 아키텍처를 뇌 영역에 맞추는 데 사용 가능한 템플릿이 될 수 있다.
• DNNs의 계층적이고 다층적인 구조를 활용하여, 각 층을 독립적인 모델로 간주하는 대신 전체 감각 처리 경로를 모델링한다.
• 패턴 성분 모델링(PCM)을 사용하여 표현 이질성 행렬(표현 이질성 매트릭스, DSM)의 구성 요소를 분석함으로써, 모델 표현과 신경 표현 간의 더 세밀한 비교를 가능하게 한다.

실험 결과

연구 질문

• RQ1 평가 대상 모델이 깊이 있는 신경망(DNN)일 경우, 정보 기반 신경영상 기법을 통해 신뢰성 있게 도출할 수 있는 결론의 유형은 무엇인가?
• RQ2 DNNs는 감각 처리에서 신경 표현의 형태와 내용을 포괄하는 데 기존 선형 모델보다 어떻게 향상되는가?
• RQ3 DNNs는 신경생물학적 수준과 인지 수준 분석 간의 해상도 불일치를 어떻게 극복하는 데 활용될 수 있는가?
• RQ4 특정 뇌 영역 또는 네트워크와 일치하도록 DNNs를 설계할 수 있는가? 이를 통해 인공적 시스템과 생물학적 시스템 간의 표현 구조를 직접 비교할 수 있는가?
• RQ5 DNNs의 계층적 구조는 고립된 처리 단계가 아니라 전체 감각 처리 경로를 모델링하는 데 어떻게 활용될 수 있는가?

주요 결과

• DNNs는 복잡하고 분포된 표현을 학습할 수 있기 때문에, 기존 선형 모델보다 더 강력한 모델 비교 능력을 제공한다. 이는 감각 입력의 통계적 불변성을 더 잘 반영한다.
• DNNs의 계층적 아키텍처 덕분에 전체 감각 처리 경로를 모델링할 수 있어, 처리 단계 간의 표현 전환을 더 포괄적으로 평가할 수 있다.
• DNNs는 후행적 해석 가능성에서 선형 모델보다 우월한 성능을 보이며, 학습된 특징들을 시각화하거나 언어화하거나 군집화함으로써 의미 있는 기능 단위를 드러낼 수 있다.
• 공통된 표현 공간을 통해 DNNs와 신경영상 데이터를 직접 통합함으로써, 표현 내용과 형태 모두에 대한 더 견고한 비교가 가능해진다.
• 기능적 또는 구조적 MRI에서 유도된 그래프 기반 뇌 템플릿은 DNN 아키텍처를 특정 뇌 영역에 맞추는 데 사용될 수 있으며, 이는 표적 모델 비교를 촉진한다.
• DNNs는 네트워크 행동과 측정된 신경 반응과의 유사성에 의해 제약을 받는 데이터 기반 방식으로 후보 신경 표현을 발견할 수 있으며, 이는 인지신경과학의 내부에서 시작하는 접근법을 발전시킨다.