[논문 리뷰] If deep learning is the answer, then what is the question?

Andrew Saxe, Stephanie Nelli외 1명|arXiv (Cornell University)|2020. 04. 16.

Domain Adaptation and Few-Shot Learning참고 문헌 133인용 수 8

한 줄 요약

이 논문은 딥 러닝 시대의 시스템 신경과학을 위한 비전도를 제안하며, 딥 뉴럴 네트워크가 생물학적 뇌 기능의 검증 가능한 모델로 기능할 수 있다고 주장한다. 행동, 학습 동역학, 신경 표현 방식의 측면에서 인공 시스템과 생물학적 시스템을 비교함으로써, 저자들은 딥 러닝을 검은 상자로 보는 것이 아니라, 인지, 인지 기능, 뇌의 신경 코드에 대한 가설을 생성하고 검증하는 프레임워크로 활용할 것을 주장한다.

ABSTRACT

Neuroscience research is undergoing a minor revolution. Recent advances in machine learning and artificial intelligence (AI) research have opened up new ways of thinking about neural computation. Many researchers are excited by the possibility that deep neural networks may offer theories of perception, cognition and action for biological brains. This perspective has the potential to radically reshape our approach to understanding neural systems, because the computations performed by deep networks are learned from experience, not endowed by the researcher. If so, how can neuroscientists use deep networks to model and understand biological brains? What is the outlook for neuroscientists who seek to characterise computations or neural codes, or who wish to understand perception, attention, memory, and executive functions? In this Perspective, our goal is to offer a roadmap for systems neuroscience research in the age of deep learning. We discuss the conceptual and methodological challenges of comparing behaviour, learning dynamics, and neural representation in artificial and biological systems. We highlight new research questions that have emerged for neuroscience as a direct consequence of recent advances in machine learning.

연구 동기 및 목표

• 딥 러닝 모델을 활용하여 생물학적 뇌 기능을 이해하는 데 도움이 되는 시스템 신경과학 연구자들을 안내하기 위해.
• 인공 신경망과 생물학적 신경 시스템 간 비교 시 발생하는 개념적 및 방법론적 과제를 해결하기 위해.
• 딥 러닝이 신경과학에 통합되면서 발생하는 새로운 연구 질문을 식별하기 위해.
• 딥 네트워크를 인지, 주의, 기억, 실행 기능 등의 설명 모델로 사용하기 위한 프레임워크를 제공하기 위해.
• 표면적인 유사성에 그치지 않고, 엄밀한 가설 기반의 방식으로 딥 러닝을 신경과학에 활용함을 촉진하기 위해.

제안 방법

• 경험을 통해 학습하는 방식으로, 수동적으로 규칙가 지정된 것이 아닌, 생물학적으로 타당한 신경 계산 모델로 딥 뉴럴 네트워크를 제안한다.
• 행동 성능, 학습 동역학, 신경 표현 패턴의 세 영역에서 비교 분석을 강조한다.
• 딥 네트워크의 아키텍처 및 학습 동역학을 활용해 생물학적 신경 시스템에 대한 검증 가능한 예측을 도출한다.
• 신경 표현을 신경 코드와 功能적 계산의 관점에서 해석하는 중요성을 부각한다.
• 생물학적 타당성을 높이기 위해 네트워크 설계를 기존 신경 해부학 및 신경 생리학 지식과 일치시키도록 권장한다.
• 딥 러닝을 뇌 기능에 대한 가설 생성 도구로, 단지 행동을 모방하는 데 쓰는 것이 아니라, 그 이상의 목적을 가진다.

실험 결과

연구 질문

• RQ1 딥 뉴럴 네트워크는 생물학적 뇌에서 인지, 인지 기능, 행동의 모델로 어떻게 활용될 수 있는가?
• RQ2 인공 신경망과 생물학적 신경 시스템 간 비교 시 발생하는 방법론적 과제는 무엇인가?
• RQ3 딥 네트워크의 학습 동역학은 생물학적 학습과 유연성에 대한 이해에 어떻게 기여할 수 있는가?
• RQ4 딥 네트워크의 신경 표현은 생물학적 뇌의 표현과 어떤 방식으로 유사하거나 다를 수 있는가?
• RQ5 딥 러닝이 시스템 신경과학에 통합될 때 어떤 새로운 연구 질문이 도출되는가?

주요 결과

• 감각 과제에 대해 훈련된 딥 뉴럴 네트워크는 생물학적 행동의 핵심 요소를 재현할 수 있으며, 이는 인지 기능을 모델링하는 데 새로운 시각을 제공한다.
• 딥 네트워크의 학습 동역학—예를 들어 점진적인 특징 계층 구조 형성—은 생물학적 시스템에서 관찰된 발달 경로와 유사하다.
• 네트워크의 깊이가 증가함에 따라 딥 네트워크의 신경 표현은 고차원 뇌 영역의 표현과 점점 유사해진다.
• 논문은 네트워크 표현과 뇌 표현 간 직접 비교를 위해서는 입력 자극과 과제 구조의 정밀한 일치가 필요하다고 지적한다.
• 사전 훈련된 네트워크의 비판적 사용을 경고하며, 과학적 타당성을 확보하기 위해 과제에 특화된 훈련을 권장한다.
• 저자들은 딥 러닝이 엄격하게 적용될 경우, 시스템 신경과학에 있어 강력한 가설 생성 프레임워크를 제공할 수 있다고 결론 내린다.