[논문 리뷰] Testing the Tools of Systems Neuroscience on Artificial Neural Networks

Grace W. Lindsay|arXiv (Cornell University)|2022. 02. 14.

Neural Networks and Applications인용 수 4

한 줄 요약

이 논문은 신경계 과학 도구가 신경계 계산에 대한 의미 있는 통찰을 어떻게 드러내는지 평가하기 위해 인공신경망(ANNs)을 제어된 실험기반으로 사용하는 것을 제안한다. 알려진 아키텍처와 행동을 가진 ANNs에 일반적인 분석 도구(예: 믹스되지 않은 주성분 분석(dPCA))를 적용함으로써, 연구자들은 이러한 도구가 실질적인 통찰을 제공하는지 체계적으로 테스트할 수 있다. 이는 뇌과학 분석 방법론의 신뢰성과 유용성을 높이는 데 기여한다.

ABSTRACT

Neuroscientists apply a range of common analysis tools to recorded neural activity in order to glean insights into how neural circuits implement computations. Despite the fact that these tools shape the progress of the field as a whole, we have little empirical evidence that they are effective at quickly identifying the phenomena of interest. Here I argue that these tools should be explicitly tested and that artificial neural networks (ANNs) are an appropriate testing grounds for them. The recent resurgence of the use of ANNs as models of everything from perception to memory to motor control stems from a rough similarity between artificial and biological neural networks and the ability to train these networks to perform complex high-dimensional tasks. These properties, combined with the ability to perfectly observe and manipulate these systems, makes them well-suited for vetting the tools of systems and cognitive neuroscience. I provide here both a roadmap for performing this testing and a list of tools that are suitable to be tested on ANNs. Using ANNs to reflect on the extent to which these tools provide a productive understanding of neural systems -- and on exactly what understanding should mean here -- has the potential to expedite progress in the study of the brain.

연구 동기 및 목표

• 일반적으로 사용되지만 신경계 메커니즘을 드러내는 데 실제 유용성이 검증되지 않은 시스템 신경과학 도구에 대한 경험적 검증의 부족을 해결하기 위해.
• 인공신경망(ANNs)이 생물학적으로 타당하고 복잡한 작업에 대해 학습 가능하며, 전체적으로 관측 및 제어가 가능하므로 이상적인 실험기반임을 주장하기 위해.
• 모든 성공 및 실패 결과를 포함한 투명하고 사전 등록된 프레임워크를 구축하여 발표 편향을 방지하기 위해.
• 분석 도구의 성공 수준을 계측하기 위한 단계적 척도를 개발하기 위해(예: null/해석 불가 결과에서 실험적으로 확인된 실질적 통찰까지).
• 시스템적 테스트를 통해 현재 방법의 한계를 파악하고, 이를 바탕으로 더 나은 도구 개발을 장려하기 위해.

제안 방법

• 생물학적으로 관련된 임무(예: 노이즈가 첨가된 이미지 분류)를 학습시킨 ANNs를 내부 역학이 알려진 신경 회로의 제어 모델로 사용하기 위해.
• 이러한 네트워크의 은닉 유닛 활동에 표준 시스템 신경과학 도구(예: 믹스되지 않은 주성분 분석(dPCA), 차원 축소, 인구 벡터 분석)를 적용하기 위해.
• 성능 평가를 위해 네 단계의 성공 지표를 사용하기 위해: null/해석 불가 결과, 해석 가능하지만 실질적 예측이 불가능한 통찰, 새로운 실험을 이끄는 실질적 통찰, 실험적 변형에 의해 확인된 통찰.
• 분석 결과에 기반한 변형 실험 설계(예: 노이즈와 관련된 성분을 제거한 활동 재구성)를 통해 예측 효과가 실제 성능 변화와 일치하는지 테스트하기 위해.
• 모든 분석 계획을 사전 등록하고, 성공 여부에 관계없이 모든 결과를 투명하고 개방적인 문서화 방식으로 보고하여 파일 서랍 편향을 방지하기 위해.
• 도구가 작업 관련 구성요소(예: 숫자 식별, 노이즈 유형 등)를 성공적으로 분리했는지, 그리고 이러한 구성요소가 분류 기능에서 기능적 역할을 예측했는지에 따라 결과를 분류하기 위해.

실험 결과

연구 질문

• RQ1 dPCA와 같은 표준 시스템 신경과학 도구가 인공신경망에서 이해 가능한 기능적 구성요소를 효과적으로 식별할 수 있는가?
• RQ2 이러한 도구가 도출한 통찰은 네트워크 활동에 대한 대상 지정 변형을 통해 실험적으로 검증될 수 있는가?
• RQ3 다양한 분석 도구는 신경망 기능에 대한 실질적이고 예측 가능한 통찰을 얼마나 잘 제공하는가?
• RQ4 신경 데이터 과학에서 분석 도구의 품질과 유용성을 객관적으로 평가하는 데 사용할 수 있는 기준은 무엇인가?
• RQ5 시스템적 테스트를 통해 ANNs에서 현재 도구의 한계를 드러내고, 이를 바탕으로 개선된 방법 개발을 이끌 수 있는가?

주요 결과

• 노이즈가 첨가된 숫자 분류 작업을 학습시킨 ANN에 dPCA를 적용한 결과, 숫자 식별과 노이즈 유형에 대해 별개의 부분공간을 효과적으로 식별하여 작업 매개변수의 분리가 성공적으로 이루어졌음을 보여주었다.
• dPCA로 추출한 노이즈와 관련된 주성분을 제거한 활동 재구성 시 분류 성능이 향상되었으며, 이는 이러한 구성요소가 작업에 필수적이지 않다는 점을 확인함으로써 분석 결과의 타당성을 검증하였다.
• 해석 가능하지만 실질적 예측을 유도하지 못하는 결과를 도출하는 도구는 제한된 가치를 지닌다. 이는 테스트 가능한 예측을 이끌어내지 못하기 때문이다.
• null 또는 해석 불가능한 결과를 도출하는 도구는 투명하게 기록하고 보고되어야 하며, 이는 도구의 유용성에 대한 오해를 방지하기 위함이다.
• 분석 통찰이 실험적으로 확인된 예측을 이끌어내는 최고 수준의 성공이 dPCA 변형 실험에서 입증되었으며, 이는 이 방법의 잠재력을 극대화한 바탕이 되었다.
• 실패 여부에 관계없이 모든 테스트 결과를 사전 등록하고 완전히 보고하는 것이 편향을 방지하고 도구 평가의 방법론적 엄밀성을 확보하는 데 필수적이다.