[논문 리뷰] Deep Connectomics Networks: Neural Network Architectures Inspired by Neuronal Networks

Nicholas J. Roberts, Dian Ang Yap외 1명|arXiv (Cornell University)|2019. 12. 18.

Neural dynamics and brain function인용 수 8

한 줄 요약

이 논문은 C. elegans와 쥐 시각 피질의 연결체(connectomes)에서 영감을 얻은 새로운 딥 러닝 아키텍처인 딥 커넥토미크스 네트워크(DCNs)를 소개한다. DCNs는 실제 생물학적 신경망의 구조를 직접 반영한 방향성 비순환 그래프(DAGs)를 구성하고, 이를 컨볼루션 네트워크(CNN) 프레임워크에 통합함으로써 이미지 분류 벤치마크에서 최신 기술 수준의 성능을 달성한다. 그래프 파라미터를 동결한 상태에서도 기존의 그래프 없는 기준 모델과 표준 소월드(Watts-Strogatz) 구조보다 뛰어난 성능을 보이며, 이는 생물학적 위상 구조가 네트워크 설계에 내재된 가치를 지닌다는 것을 입증한다.

ABSTRACT

The interplay between inter-neuronal network topology and cognition has been studied deeply by connectomics researchers and network scientists, which is crucial towards understanding the remarkable efficacy of biological neural networks. Curiously, the deep learning revolution that revived neural networks has not paid much attention to topological aspects. The architectures of deep neural networks (DNNs) do not resemble their biological counterparts in the topological sense. We bridge this gap by presenting initial results of Deep Connectomics Networks (DCNs) as DNNs with topologies inspired by real-world neuronal networks. We show high classification accuracy obtained by DCNs whose architecture was inspired by the biological neuronal networks of C. Elegans and the mouse visual cortex.

연구 동기 및 목표

• 실제 생물학적 신경망 위상 구조(예: 연결체)에서 영감을 얻은 딥 신경망 아키텍처가 이미지 분류 작업에서 성능 향상에 기여하는지 조사하기 위해.
• 딥 러닝에서 아키텍처 설계가 연결체학에서 유래한 위상 원칙을 거의 고려하지 않았음에도 불구하고, 이러한 원칙이 생물학적으로 관련성이 있다는 점을 메워주기 위해.
• 실제 신경망의 위상적 특성(예: 소월드 성질)이 모델 성능에 기여하는지, 단지 파라미터 수와는 별개로 독립적으로 기여하는지 평가하기 위해.
• 커넥토미크스 유도 그래프를 딥 러닝 프레임워크의 핵심 연결 패턴으로 사용할 때 DCNs의 학습 가능성과 효능을 입증하기 위해.
• 표준 비전 벤치마크에서 실연결체(C. elegans, 쥐 시각 피질) 기반 DCNs를 합성 소월드 모델(Watts-Strogatz) 및 그래프 없는 기준 모델과 비교하기 위해.

제안 방법

• C. elegans와 쥐 시각 피질의 연결체에서 유도된 무방향 신경망을 무작위 정점 인덱싱을 통해 방향성 비순환 그래프(DAGs)로 변환하여 방향성 비순환 그래프(DAGs)를 구축함.
• 단일 입력 및 단일 출력 흐름을 보장하기 위해 소스 및 싱크 노드를 도입함. 소스 노드는 입력 노드로 브로드캐스트를 수행하고, 싱크 노드는 출력의 가중치 없는 평균을 계산함.
• 초기 2D 컨볼루션 레이어 하나와, 커넥토미크스 위상 구조에 기반한 단일 '랜드와이어'-스타일 모듈을 포함한 수정된 아키텍처를 설계함. 이 모듈은 ReLU와 배치 정규화를 사용한 3x3 분리형 컨볼루션을 활용함.
• 표준 학습 프rotocol를 적용함: 50 에포크, Adam 옵timizer(초기 학습률 0.001), 배치 크기 32, 코즈인 감쇠를 사용함. 동시에 그래프 파라미터를 동결하거나 학습 가능한 상태로 평가함.
• MNIST, 패션-MNIST, KMNIST에서 모델 성능을 평가하고, 그래프 없는 CNN, 워츠-스트로게츠(WS) 그래프, 커넥토미크스 기반 DCNs 간 성능을 비교함.
• 평균 경로 길이, 클러스터링 계수, 모듈라리티, 지름 등의 그래프 지표를 사용하여 실험에 사용된 연결체의 위상적 특성을 특성화함.

실험 결과

연구 질문

• RQ1 실제 생물학적 신경망 위상 구조(예: 연결체)에서 유도된 딥 신경망 아키텍처가 표준 아키텍처보다 이미지 분류 작업에서 뛰어난 성능을 내는가?
• RQ2 실제 신경망의 위상적 특성(예: 소월드 성질)이 파라미터 수와 별개로 모델 성능에 기여하는가?
• RQ3 C. elegans와 쥐 시각 피질 연결체 기반 DCNs는 합성 소월드 모델(예: 워츠-스트로게츠)과 비교해 정확도와 일반화 능력 측면에서 어떻게 다른가?
• RQ4 그래프 파라미터를 동결한 상태에서도 커넥토미크스 기반 위상 구조에서 유래한 성능 향상이 유지되는가? 이는 위상 구조 자체가 성능 향상에 기여한다는 것을 의미한다.
• RQ5 DCNs는 MNIST, KMNIST, 패션-MNIST와 같은 다양한 데이터셋에서 일관되게 경쟁 가능한 성능을 보일 수 있는가?

주요 결과

• 그래프 파라미터를 학습시킨 쥐 시각 피질 기반 DCN은 MNIST에서 검증 정확도 99.30%를 기록하여, 기준 그래프 없는 CNN(98.01%)과 학습 가능한 WS 모델(99.27%)을 모두 초월함.
• 그래프 파라미터를 동결한 상태에서도 쥐 시각 피질 기반 DCN은 98.24%의 정확도를 달성하였으며, 이는 기준 모델(98.01%)보다 높은 성능을 보여, 위상 구조 자체가 성능 향상에 기여한다는 것을 입증함.
• C. elegans 기반 DCN은 10회의 학습 시도 동안 MNIST에서 평균 테스트 정확도 99%, KMNIST에서 93%, 패션-MNIST에서 90%를 기록하여 다양한 데이터셋에 대한 강력한 일반화 능력을 보임.
• 동결된 WS 모델은 기준 모델보다 성능이 열악함(97.05% vs. 98.01%), 이는 모든 소월드 위상이 동일하게 효과적인 것은 아니며, 실제 연결체 구조가 더 우수한 인덕티브 바이어스를 제공할 수 있음을 시사함.
• 동일한 파라미터 수를 가진 상태에서 그래프 파라미터를 동결한 쥐 시각 피질 기반 DCN은 WS 모델을 초월하여 성능이 뛰어나, 생물학적 네트워크의 특정 위상적 특성이 학습 능력을 향상시킨다는 것을 확인함.
• 결과는 실제 연결체의 스펙트럼적 및 구조적 특성(예: 모듈라리티, 클러스터링)이 합성 소월드 모델보다 딥 러닝 아키텍처에서 더 효과적인 인덕티브 바이어스를 제공할 수 있음을 시사함.