[논문 리뷰] Self-Supervised Graph Representation Learning for Neuronal Morphologies

Marissa A. Weis, Laura Pede외 2명|arXiv (Cornell University)|2021. 12. 23.

Functional Brain Connectivity Studies인용 수 4

한 줄 요약

이 논문은 수동적인 기능 공학이나 레이블링 없이 3D 신경세포 형태의 저차원 그래프 수준 표현을 학습하기 위한 자기지도 학습, 트랜스포머 기반 방법인 GraphDINO를 소개한다. 데이터 증강, 위치 인코딩 적응, 그리고 전역 주의와 국소 그래프 컨볼루션을 융합하는 새로운 AC-Attention 메커니즘을 결합함으로써, GraphDINO는 여러 뇌 영역과 종에서 전문가가 레이블링한 세포 유형을 예측하는 데 있어 이전 방법들을 능가하고, 전문가 레이블링 수준의 클러스터링 성능을 달성한다.

ABSTRACT

Unsupervised graph representation learning has recently gained interest in several application domains such as neuroscience, where modeling the diverse morphology of cell types in the brain is one of the key challenges. It is currently unknown how many excitatory cortical cell types exist and what their defining morphological features are. Here we present GraphDINO, a purely data-driven approach to learn low-dimensional representations of 3D neuronal morphologies from unlabeled large-scale datasets. GraphDINO is a novel transformer-based representation learning method for spatially-embedded graphs. To enable self-supervised learning on transformers, we (1) developed data augmentation strategies for spatially-embedded graphs, (2) adapted the positional encoding and (3) introduced a novel attention mechanism, AC-Attention, which combines attention-based global interaction between nodes and classic graph convolutional processing. We show, in two different species and across multiple brain areas, that this method yields morphological cell type clusterings that are on par with manual feature-based classification by experts, but without using prior knowledge about the structural features of neurons. Moreover, it outperforms previous approaches on quantitative benchmarks predicting expert labels. Our method could potentially enable data-driven discovery of novel morphological features and cell types in large-scale datasets. It is applicable beyond neuroscience in settings where samples in a dataset are graphs and graph-level embeddings are desired.

연구 동기 및 목표

• 수동으로 정의된 형태학적 기능에 의존하지 않고, 데이터 기반의 자기지도 학습 방법을 통해 3D 신경세포 형태의 그래프 수준 임베딩을 학습하는 것.
• 수동 분류 및 기능 공학의 한계를 해결하여 편향과 전문가 간 높은 변동성을 제거하는 것.
• 대규모 레이블이 없는 데이터셋에서 비지도 표현 학습을 통해 새로운 형태학적 세포 유형을 발견할 수 있도록 하는 것.
• 기존의 그래프 신경망 및 오토인코더 기반 접근법보다 전문가가 레이블링한 세포 유형 레이블을 더 잘 예측하는 것.
• 신경과학을 넘어서 공간에 배치된 그래프 표현 학습에 일반화 가능한 프레임워크를 구축하는 것.

제안 방법

• 신경세포 형태를 나타내는 공간에 배치된 트리 구조 그래프를 위한 트랜스포머 기반 모델인 GraphDINO를 제안한다.
• 3D 공간 그래프에 특화된 데이터 증강 전략을 도입하여 자기지도 대비 학습을 가능하게 하며, 이는 회전, 이동, 부분 샘플링 포함이다.
• 회전 및 이동과 같은 공간 변환에 대해 기하학적 불변성을 유지하기 위해 위치 인코딩을 적응시킨다.
• 노드 유사도 기반 라우팅을 통해 전역 자기주의과 국소 그래프 컨볼루션을 융합하는 하이브리드 주의 메커니즘인 AC-Attention을 개발한다.
• 뷰 증강을 통한 대비 학습을 활용하여 레이블이 없는 데이터로 모델을 훈련시키며, 구조적 흐트림에 대해 불변 표현을 최적화한다.
• 하나의 뉴런당 하나의 임베딩을 생성하기 위해 그래프 수준 풀링을 사용하여 후속 클러스터링 및 분류 작업을 위한 기반을 마련한다.

실험 결과

연구 질문

• RQ1 3D 신경세포 형태의 자기지도 학습, 엔드 투 엔드로 학습된 표현이 전문가 기반 형태학적 분류 수준의 성능을 달성할 수 있는가?
• RQ2 GraphDINO의 성능는 수동으로 설계된 기능 공학 기반 및 오토인코더 기반 기준선과 비교하여 전문가 레이블링 세포 유형 예측에서 어떻게 나타나는가?
• RQ3 형태학적 기능에 대한 사전 지식 없이 GraphDINO가 생물학적으로 의미 있는 세포 유형 클러스터를 얼마나 잘 발견할 수 있는가?
• RQ4 AC-Attention를 통한 전역 주의와 국소 메시지 전달의 통합은 표준 GNN 또는 트랜스포머보다 공간 그래프에서 표현 학습을 어떻게 향상시키는가?
• RQ5 모델은 아키텍처나 하이퍼파라미터 재조정 없이 종과 뇌 영역 간 일반화가 가능한가?

주요 결과

• GraphDINO는 구조적 특징에 대한 사전 지식 없이도 신경과학 전문가가 수기로 기능 기반 분류한 세포 유형의 클러스터링 성능를 달성한다.
• 기본 데이터셋에서 전문가가 레이블링한 세포 유형 레이블을 예측하는 데 있어 전통적인 수동 기능 공학 기반 기준선과 오토인코더 기반 접근법을 모두 능가한다.
• ACT 데이터셋에서, 흥분성 뉴런에 국한된 부분집합에서 GraphDINO의 성능는 이전 평가와 달리 흥분성과 억제성 유형을 혼합한 평가보다 훨씬 더 의미 있는 결과를 보였다.
• AC-Attention 메커니즘은 전역 주의와 국소 그래프 컨볼루션 사이의 매끄러운 보간을 가능하게 하여 공간 그래프에서 표현 품질을 향상시킨다.
• 샘플링 및 공간 변환을 통한 데이터 증강은 전반적인 형태를 유지하면서도 강력한 자기지도 사전학습을 가능하게 한다.
• 모델은 쥐와 인간을 포함한 다양한 종과 뇌 영역에서 일반화되며, 생물학적 및 구조적 변동성에 대해 강건함을 보였다.