[論文レビュー] Self-Supervised Graph Representation Learning for Neuronal Morphologies

Marissa A. Weis, Laura Pede+2 more|arXiv (Cornell University)|Dec 23, 2021

Functional Brain Connectivity Studies被引用数 4

ひとこと要約

本稿では、手動での特徴工学やアノテーションに依存せずに、3次元ニューロンの形態を低次元のグラフレベル表現として学習する自己教師あり、トランスフォーマー基盤の手法であるGraphDINOを紹介する。データ拡張、位置符号化の適合、およびグローバルな自己注意とローカルなグラフ畳み込みを組み合わせた新規なAC-Attention機構を統合することで、GraphDINOは複数の脳領域および種において、専門家ラベルの予測において先行手法を上回り、専門家ラベルによる細胞タイプのクラスタリング性能と同等の性能を達成した。

ABSTRACT

Unsupervised graph representation learning has recently gained interest in several application domains such as neuroscience, where modeling the diverse morphology of cell types in the brain is one of the key challenges. It is currently unknown how many excitatory cortical cell types exist and what their defining morphological features are. Here we present GraphDINO, a purely data-driven approach to learn low-dimensional representations of 3D neuronal morphologies from unlabeled large-scale datasets. GraphDINO is a novel transformer-based representation learning method for spatially-embedded graphs. To enable self-supervised learning on transformers, we (1) developed data augmentation strategies for spatially-embedded graphs, (2) adapted the positional encoding and (3) introduced a novel attention mechanism, AC-Attention, which combines attention-based global interaction between nodes and classic graph convolutional processing. We show, in two different species and across multiple brain areas, that this method yields morphological cell type clusterings that are on par with manual feature-based classification by experts, but without using prior knowledge about the structural features of neurons. Moreover, it outperforms previous approaches on quantitative benchmarks predicting expert labels. Our method could potentially enable data-driven discovery of novel morphological features and cell types in large-scale datasets. It is applicable beyond neuroscience in settings where samples in a dataset are graphs and graph-level embeddings are desired.

研究の動機と目的

• 人間が定義する形態的特徴に依存せずに、データ駆動的かつ自己教師ありの方法で3次元ニューロン形態のグラフレベル埋め込みを学習すること。
• 手動分類や特徴工学の限界、すなわちバイアスの導入や専門家間の高いばらつきを是正すること。
• 大規模なラベルなしデータセット上で無教師表現学習を用いて、未知の形態的細胞タイプの発見を可能にすること。
• 既存のグラフニューラルネットワークやオートエンコーダー基盤の手法を上回り、専門家がアノテートした細胞タイプラベルの予測を改善すること。
• 神経科学を超えて、空間的に埋め込まれたグラフ表現学習に一般化可能なフレームワークを構築すること。

提案手法

• ニューロン形態を表す空間的埋め込み木構造グラフを対象とする、トランスフォーマー基盤のモデルであるGraphDINOを提案する。
• 3次元空間グラフに特化したデータ拡張戦略（回転、平行移動、部分抽出）を導入し、自己教師あり対照的学習を可能にする。
• 回転や平行移動などの空間変換に対しても幾何的不変性を保つように、位置符号化を適合させる。
• ノードの類似度に基づくルーティングを用いて、グローバル自己注意とローカルグラフ畳み込みを統合するハイブリッド注意メカニズムAC-Attentionを開発する。
• 視覚的拡張を用いた対照的学習により、ラベルなしデータ上でモデルを訓練し、構造的摂動に対して不変な表現を最適化する。
• 1つのニューロンごとに1つの埋め込みを生成するため、グラフレベルのプーリングを用いて、後続のクラスタリングおよび分類タスクに適応する。

実験結果

リサーチクエスチョン

• RQ1 3次元ニューロン形態の自己教師ありでエンドツーエンドに学習された表現は、専門家による形態的分類の品質に匹敵できるか？
• RQ2 GraphDINOの性能は、手作業で設計された特徴工学手法やオートエンコーダー基盤のベースラインと比較して、専門家ラベルによる細胞タイプの予測においてどうなるか？
• RQ3 形態的特徴に関する事前知識なしに、GraphDINOは生物学的に意味のある細胞タイプクラスタをどの程度発見できるか？
• RQ4 AC-Attentionによるグローバルな自己注意とローカルなメッセージパッシングの統合は、標準的なGNNやトランスフォーマーと比較して、空間グラフにおける表現学習をどのように改善するか？
• RQ5 アーキテクチャやハイパーパrameterの再調整なしに、種や脳領域をまたいで一般化可能か？

主な発見

• GraphDINOは、構造的特徴に関する事前知識を一切使用せずに、神経科学専門家による手動特徴ベースの分類と同等の形態的細胞タイプクラスタリング性能を達成した。
• ベンチマークデータセットにおいて、伝統的な手作業特徴ベースのベースラインおよびオートエンコーダー基盤の手法を上回り、専門家がアノテートした細胞タイプラベルの予測性能を向上させた。
• ACTデータセットにおいて、興奮性ニューロンに限定されたサブセットでは、以前の評価とは異なり、興奮性および抑制性タイプを混合して評価していたため、より意味のある性能を示した。
• AC-Attention機構により、グローバル自己注意とローカルグラフ畳み込みの間を滑らかに補間でき、空間グラフにおける表現品質の向上に寄与した。
• 部分抽出や空間変換によるデータ拡張は、グローバルな形態を保持しつつ、強力な自己教師あり事前学習を可能にした。
• マウスおよびヒトの種をまたいで、複数の脳領域にわたって一般化可能であり、生物学的および構造的変動に対しても頑健であることが示された。