[논문 리뷰] DELIMIT PyTorch - An extension for Deep Learning in Diffusion Imaging

Simon Koppers, Dorit Merhof|arXiv (Cornell University)|2018. 08. 04.

Advanced Neuroimaging Techniques and Applications참고 문헌 2인용 수 5

한 줄 요약

DELIMIT PyTorch는 확산 MRI를 위한 특수화된 딥러닝 레이어를 도입하여 비균일한 기울기 방향을 처리하고 이웃 정보를 유지하면서 효율적인 구면 조화 함수(SH) 변환과 국소 구면 컨벌루션을 가능하게 한다. 이 프레임워크는 SH 기반 처리를 가속화하고 다중쉘 신호 학습을 지원하여 확산 영상에서 딥러닝의 효율성과 정확도를 크게 향상시킨다.

ABSTRACT

DELIMIT is a framework extension for deep learning in diffusion imaging, which extends the basic framework PyTorch towards spherical signals. Based on several novel layers, deep learning can be applied to spherical diffusion imaging data in a very convenient way. First, two spherical harmonic interpolation layers are added to the extension, which allow to transform the signal from spherical surface space into the spherical harmonic space, and vice versa. In addition, a local spherical convolution layer is introduced that adds the possibility to include gradient neighborhood information within the network. Furthermore, these extensions can also be utilized for the preprocessing of diffusion signals.

연구 동기 및 목표

• 딥러닝 적용을 방해하는 비균일한 기울기 방향과 b-값 문제를 해결한다.
• 일致된 신호 표현을 위해 구면 표면 공간과 구면 조화 함수(SH) 공간 간의 효율적인 변환을 가능하게 한다.
• 기울기 이웃 정보를 통합하고 다중쉘 신호 처리를 지원하기 위해 국소 구면 컨벌루션 레이어를 도입한다.
• GPU 가속 및 재사용 가능한 레이어를 사용하여 딥러닝 학습과 사전처리를 모두 가능하게 한다.
• 딥러닝 워크플로우를 단순화하기 위해 오픈소스이며 PyTorch 기반의 확장을 제공한다.

제안 방법

• 신호에서 SH 공간으로, SH 공간에서 신호로의 변환을 위한 Signal2SH 및 SH2Signal 레이어를 도입하며, 안정성을 확보하기 위해 라플라스-베르트라미 정규화를 적용한다.
• 순환 커널을 사용하는 국소 구면 컨벌루션(LSC) 레이어를 도입하여 구면 표면에서 작동하며, 방향성 이웃 관계를 유지한다.
• 각 b-값에 대한 채널 차원을 커널에 추가하여 LSC를 다중쉘 신호로 확장함으로써 각 b-값 별 별도 처리 및 다중 b-값 예측을 가능하게 한다.
• 계산 효율성을 높이기 위해 구현 시 컨벌루션 대신 교차상관관계를 사용하였으며, backpropagation에서 동일한 학습 결과를 얻을 수 있다.
• 모든 레이어를 GPU 실행에 최적화하여 대규모 확산 데이터셋에서 학습 및 추론 시 실시간 성능을 확보한다.
• b=0 측정치를 사용한 정규화를 지원하며, 기존의 PyTorch 신경망 아키텍처에 원활하게 통합된다.

실험 결과

연구 질문

• RQ1 어떻게 하면 확산 MRI를 위한 딥러닝 프레임워크에 효율적이고 정확한 구면 조화 함수 변환을 통합할 수 있는가?
• RQ2 국소 구면 컨벌루션을 통해 방향성 이웃 정보를 통합함으로써 확산 신호에서 딥러닝 성능을 향상시킬 수 있는가?
• RQ3 제안된 프레임워크는 다양한 b-값을 가진 다중쉘 확산 데이터를 통합된 학습 프레임워크에서 어떻게 처리하는가?
• RQ4 기존의 딥러닝 접근 방식에 비해 DELIMIT 확장이 처리 속도와 모델 정확도 향상에 얼마나 기여하는가?
• RQ5 이 프레임워크는 확산 MRI 데이터의 딥러닝 학습과 사전처리 양면에서 효과적으로 사용될 수 있는가?

주요 결과

• Signal2SH 및 SH2Signal 레이어는 고차수의 SH 및 큰 볼륨 수에서 높은 계산 효율성을 달성하여 GPU에서 실시간 처리가 가능하다.
• 국소 구면 컨벌루션 레이어는 방향성 구조를 성공적으로 유지하고 국소 신호 패턴 학습이 가능함을 입증하였으며, 이는 이동 평균 필터를 확산 신호에 적용했을 때 흐릿한 출력이 발생하는 것으로 확인된다.
• 커널에 각 b-값에 대한 채널 차원을 추가함으로써 프레임워크는 다중쉘 신호 처리를 지원하며, 다중쉘 데이터의 공동 모델링이 가능해졌다.
• 컨벌루션 대신 교차상관관계를 구현함으로써 계산 비용을 감소시켰고, backpropagation에서 동일한 학습 행동을 유지하였다.
• 이 도구상자는 SH 기반 처리를 크게 가속화하고, 구면 표면 공간에서의 신호 재구성 허용으로 새로운 손실 함수의 도입을 가능하게 하였다.
• 이 프레임워크는 딥러닝 학습과 독립적인 사전처리 모두에 적합하여 확산 영상 신호 조작을 위한 통합 솔루션을 제공한다.