[논문 리뷰] Surface Vision Transformers: Attention-Based Modelling applied to Cortical Analysis

Simon Dahan, Abdulah Fawaz외 7명|arXiv (Cornell University)|2022. 03. 30.

3D Shape Modeling and Analysis인용 수 6

한 줄 요약

이 논문은 뇌 피질 표면을 구면 다각형 군집으로 투영하고 삼각형 조각들의 시퀀스로 처리함으로써 비전 트랜스포머 아키텍처를 피질 표면 데이터에 적응시킨 새로운 주목사상 기반 딥러닝 프레임워크인 Surface Vision Transformers (SiT)를 소개한다. 이 방법은 신경발달형질 회귀 과제에서 표면 컨볼루션 네트워크(CNN)를 능가하며, 태아기 피질 발달과 관련된 생물학적으로 의미 있는 주목사상 패턴을 드러낸다.

ABSTRACT

The extension of convolutional neural networks (CNNs) to non-Euclidean geometries has led to multiple frameworks for studying manifolds. Many of those methods have shown design limitations resulting in poor modelling of long-range associations, as the generalisation of convolutions to irregular surfaces is non-trivial. Motivated by the success of attention-modelling in computer vision, we translate convolution-free vision transformer approaches to surface data, to introduce a domain-agnostic architecture to study any surface data projected onto a spherical manifold. Here, surface patching is achieved by representing spherical data as a sequence of triangular patches, extracted from a subdivided icosphere. A transformer model encodes the sequence of patches via successive multi-head self-attention layers while preserving the sequence resolution. We validate the performance of the proposed Surface Vision Transformer (SiT) on the task of phenotype regression from cortical surface metrics derived from the Developing Human Connectome Project (dHCP). Experiments show that the SiT generally outperforms surface CNNs, while performing comparably on registered and unregistered data. Analysis of transformer attention maps offers strong potential to characterise subtle cognitive developmental patterns.

연구 동기 및 목표

• 비유클리드적이고 비정규적인 피질 표면에서 장거리 상관관계를 모델링하는 데에 한계가 있는 컨볼루션 신경망(CNN)의 문제점을 해결하기 위해.
• 원래 이미지용으로 설계된 주목사상 기반 비전 트랜스포머 아키텍처를 피질 표면과 같은 일반적인 종수 0 표면 데이터에 적응시키기 위해.
• 발달하는 인간 연결체 프로젝트(dHCP)의 피질 지표를 사용하여 표면 비전 트랜스포머(SiT)의 발달형질 회귀 과제에서의 성능을 평가하기 위해.
• 주목사상 맵을 해석하여 태아기 피질 발달의 시공간 패턴을 밝혀내기 위해.
• 촬영 시 임신 주수(PMA)를 보정하는 것(예: 스캔 시 임신 주수를 고려함)이 태어난 시기 예측 성능에 미치는 영향을 조사하기 위해.

제안 방법

• 피질 표면 데이터를 정규적인 패치 기반 처리를 가능하게 하기 위해 분할된 이코사헤드론 구면체를 사용하여 구면 다각형 군집에 투영한다.
• 이코사헤드론 타일링에서 유도된 삼각형 패치의 시퀀스로 구면 표면을 표현하여 시퀀스 기반 모델링을 가능하게 한다.
• 패치 간의 의존성을 모델링하면서도 시퀀스 해상도를 유지하기 위해 다중 헤드 자기주목사상(MSA) 레이어를 포함한 비전 트랜스포머 아키텍처를 적용한다.
• 이미지용 비전 트랜스포머와 유사하게, 패치 시퀀스 내의 공간적 맥락을 인코딩하기 위해 학습 가능한 위치 임베딩을 통합한다.
• 스캔 시 임신 주수(PMA)를 정규화하고 학습 가능한 임베딩으로 변환하여 패치 임베딩에 더함으로써 태어난 시기 예측에서의 혼란 요인을 줄이기 위한 탈혼란 전략을 구현한다.
• 원천 및 템플릿 정렬된 피질 표면 데이터를 모두 사용하여 SiT 모델을 새로 학습하고, 자기지도 기반 사전학습을 수행한다.

실험 결과

연구 질문

• RQ1 비유클리드적이고 종수 0인 표면에서 비전 트랜스포머 아키텍처가 피질 표면 데이터를 효과적으로 모델링할 수 있는가?
• RQ2 제안된 표면 비전 트랜스포머(SiT)의 성능은 기존 기하학적 딥러닝 프레임워크(예: 표면 CNN)에 비해 신경발달형질 예측에서 어떻게 비교되는가?
• RQ3 SiT 모델의 주목사상 맵은 특히 정상 출생 및 조산 아기에서 생물학적으로 타당한 피질 발달 패턴을 드러내는가?
• RQ4 촬영 시 임신 주수(PMA)를 탈혼란 처리하는 것이 신생아 피질 표면 데이터에서 태어난 시기 예측 정확도에 얼마나 기여하는가?
• RQ5 자기지도 기반 사전학습과 아키텍처 설계 선택이 주목사상 맵 패턴과 등록되지 않은 데이터 및 등록된 데이터에서의 모델 일반화에 어떻게 영향을 미치는가?

주요 결과

• SiT 모델은 탈혼란 및 자기지도 기반 학습 후에, 특히 원천(등록되지 않은) 데이터 설정에서 표면 CNN보다 신경발달형질 예측에서 뛰어난 성능을 보이며, 태어난 시기(GA) 예측의 평균 오차가 1.61주로 나타났다.
• 자기지도 기반 학습을 통해 학습된 SiT 모델의 주목사상 맵은 표면 처리의 산물인 내측 벽 영역에서의 주목사상이 줄어들고, 특히 연합 영역을 포함한 측면 피질 영역으로 주목사상이 이동함을 보여주며, 알려진 발달 경로와 일치한다.
• 다양한 주목사상 헤드 간의 주목사상 패턴은 상호 보완적이며, 태아기 동안의 주요 피질에서 연합 피질으로의 발달 시퀀스와 관련된 영역에서 높은 활성도를 보인다.
• 모델은 등록된 데이터뿐 아니라 등록되지 않은 데이터에서도 강력한 성능을 유지하여 해부학적 변동성에 대한 강건성을 보였다.
• 스캔 시 임신 주수(PMA)를 탈혼란 처리함으로써 최고 성능을 보인 SiT-tiny 모델의 예측 오차가 0.24주(1.85에서 1.61로) 감소하여, 발달형질 분석에서 스캔 시점의 영향을 고려하는 것이 중요하다는 것을 입증했다.
• 태어난 시기(GA) 예측 과제에서 조차도 자기지도 기반 학습 후에도 내측 벽 영역에 대한 민감도가 유지되어, 이 영역이 임신 주수 예측에 예측 신호를 지닐 수 있음을 시사하지만, PMA 과제와 비교해 보면 패턴이 덜 일관성 있게 나타났다.