[논문 리뷰] HAMLET: Hierarchical Harmonic Filters for Learning Tracts from Diffusion MRI

Marco Reisert, Volker A. Coenen외 3명|arXiv (Cornell University)|2018. 07. 03.

Advanced Neuroimaging Techniques and Applications인용 수 12

한 줄 요약

HAMLET는 회전 공변성 있는 구면 텐서 필터를 사용하여 확산 MRI 데이터에서 직접 섬유 방향과 존재 여부를 예측하는 딥러닝 프레임워크로, 데이터 증강 없이도 강건하고 일반화 능력이 뛰어나며 이식 가능한 섬유 트랙 세분화를 달성한다. 계층적 다중 척도 컨볼루션과 구면 텐서 대수를 활용하여 고유한 공간-방향 패턴을 학습함으로써, 다양한 영상 프로토콜에서도 정확하고 자동적인 트랙토그래피가 가능하다.

ABSTRACT

In this work we propose HAMLET, a novel tract learning algorithm, which, after training, maps raw diffusion weighted MRI directly onto an image which simultaneously indicates tract direction and tract presence. The automatic learning of fiber tracts based on diffusion MRI data is a rather new idea, which tries to overcome limitations of atlas-based techniques. HAMLET takes a such an approach. Unlike the current trend in machine learning, HAMLET has only a small number of free parameters HAMLET is based on spherical tensor algebra which allows a translation and rotation covariant treatment of the problem. HAMLET is based on a repeated application of convolutions and non-linearities, which all respect the rotation covariance. The intrinsic treatment of such basic image transformations in HAMLET allows the training and generalization of the algorithm without any additional data augmentation. We demonstrate the performance of our approach for twelve prominent bundles, and show that the obtained tract estimates are robust and reliable. It is also shown that the learned models are portable from one sequence to another.

연구 동기 및 목표

• 기존의 추적 또는 애틀라스 정렬을 거치지 않고 원시 확산 MRI 데이터에서 직접 방향성 트랙 샐런시 지도를 예측하는 딥러닝 방법을 개발하는 것.
• 애틀라스 기반 및 모델 기반 트랙토그래피의 한계, 예를 들어 잘못된 양성 결과 및 저해상도 또는 노이즈가 많은 데이터에 대한 민감성 문제를 해결하는 것.
• 구면 텐서 대수를 통해 네트워크 아키텍처에 직접적으로 회전 공변성을 통합함으로써, 변환에 대해 불변성을 확보하는 것.
• 재학습이나 무거운 데이터 증강 없이도 다양한 확산 MRI 프로토콜 간에 일반화할 수 있도록 하는 것.
• 임상 및 연구 환경에서 트랙 레이블링과 시각화를 위한 완전 자동화된 엔드 투 엔드 파이프라인을 제공하는 것.

제안 방법

• HAMLET는 2차 구면 텐서 필드(비어 있는 대칭 3×3 행렬)를 사용하여 트랙 존재 여부와 방향을 표현하는 계층적 다중 척도 컨볼루션을 적용한다.
• 필터는 구면 텐서 대수를 통해 구성되어 있어 내재된 회전 및 이동 공변성을 확보하므로, 데이터 증강에 의존하지 않고 공간-방향 관계를 학습할 수 있다.
• 모델은 모든 회전 공변성을 유지하는 반복적 컨볼루션과 비선형성을 적용하여, 명시적 증강 없이도 일반화할 수 있도록 한다.
• 선형 최소 제곱 목적함수와 티호노프 정규화를 사용하여 학습하며, 다중 척도에서 예측된 트랙 지도와 진짜 지도 간 오차를 최소화한다.
• 다중 척도에서 확산 데이터의 구면 조화 함수 투영을 통해 특징 맵을 계산하고, 높은 동적 변동 범위를 처리하기 위해 정규화를 수행한다.
• 최종 출력은 크기가 섬유 가능성도를 나타내고 방향이 국소적 트랙 방향을 나타내는 텐서 필드로, 후속 스트림라인 추적에 적합하다.

실험 결과

연구 질문

• RQ1 딥러닝 모델이 원시 확산 MRI 데이터에서 직접 트랙 존재 여부와 방향을 예측하면서도, 회전 및 이동에 대해 불변성을 유지할 수 있는가?
• RQ2 회전 공변성 필터를 사용할 경우, 재학습이나 데이터 증강 없이 다양한 확산 MRI 프로토콜 간에 얼마나 잘 일반화되는가?
• RQ3 계층적 다중 척도 처리가 섬유 번들 기하학의 정밀한 표현과 정확한 국소화를 향상시키는가?
• RQ4 임상적으로 중요한 저해상도 dMRI 데이터에서 HAMLET이 기존 방법에 비해 얼마나 더 강건하고 신뢰할 수 있는가?
• RQ5 학습된 모델이 다양한 스캐너와 프로토콜 간에 이식되어도 높은 성능을 유지할 수 있는가?

주요 결과

• HAMLET는 편측성, 아크류에이트 파비큘러스, 체계성 체내신경 등 12개의 주요 백질 섬유를 포함하여 강건하고 신뢰할 수 있는 트랙 추정을 달성한다.
• 학습된 바가 없는 프로토콜 간에도 효과적으로 일반화되어 강력한 이식성을 보이며, 다양한 프로토콜 간의 포괄성 확보에 기여한다.
• 회전 공변성 필터의 사용으로 데이터 증강이 필요 없어져 훈련 복잡도가 크게 감소하고 일반화 능력이 향상된다.
• 고품질의 시각적으로 해석 가능한 텐서 필드를 생성하여 정확한 스트림라인 추적과 트랙 부피 측정을 지원한다.
• 계층적 다중 척도 설계 덕분에 전역적 맥락과 국소적 세부 정보를 효과적으로 통합하여 트랙 국소화 및 방향 정확도를 향상시킨다.
• 정규화를 통한 선형 훈련 절차는 큰 3D 볼륨에서도 안정적인 수렴과 효율적인 추론을 가능하게 한다.