[논문 리뷰] Generating fMRI volumes from T1-weighted volumes using 3D CycleGAN

David Abramian, Anders Eklund|arXiv (Cornell University)|2019. 07. 19.

Advanced Neuroimaging Techniques and Applications참고 문헌 16인용 수 10

한 줄 요약

이 논문은 쌍화되지 않은 데이터를 이용하여 T1-강조 MRI 영상에서 기능적 MRI(fMRI) 영상을 합성하고 그 반대로도 가능하게 하는 3D CycleGAN 프레임워크를 제안한다. 사이클 일致성 있는 적대적 네트워크를 활용하여 도메인 간 번역을 학습한다. 이 방법은 현실적인 fMRI 합성을 달성하여 기준 등록 평가 및 왜곡 보정에 활용 가능하며, 1000 Functional Connectomes Project의 전체 3D 영상(152×180×120)을 사용해 V100 GPU로 24일 동안 훈련한다.

ABSTRACT

Registration between an fMRI volume and a T1-weighted volume is challenging, since fMRI volumes contain geometric distortions. Here we present preliminary results showing that 3D CycleGAN can be used to synthesize fMRI volumes from T1-weighted volumes, and vice versa, which can facilitate registration.

연구 동기 및 목표

• 기능적 및 해부학적 MRI 간 기하학적 왜곡과 대trast 차이로 인한 fMRI-T1 정렬 문제를 해결하기 위해.
• 등록 알고리즘 평가를 위한 기준이 되는 실제적인 왜곡 없는 fMRI 영상을 T1-강조 영상에서 생성하기 위해.
• 특히 T1에서 fMRI로, 그리고 그 반대로의 비쌍화된 교차 모odal 이미지 번역에 대해 3D CycleGAN의 가능성을 탐색하기 위해.
• 비선형 정렬을 위한 기준으로 합성 fMRI 영상을 사용하여 왜곡 보정을 가능하게 하기 위해.
• 미래 연구에서 전체 영상 3D 훈련과 부분 영상 접근 방식을 비교하여 3D 공간 상관관계를 유지하는 데 중점을 두기 위해.

제안 방법

• 이 방법은 두 개의 생성기(T1-to-fMRI 및 fMRI-to-T1)와 두 개의 판별기(각 도메인의 진짜 대 가짜 영상 구분)를 갖는 3D CycleGAN을 사용하며, 적대적 손실을 통해 훈련된다.
• 사이클 일관성 손실는 도메인 A에서 B로, 다시 A로 변환했을 때 원본에 근접하도록 보장한다: G_B2A(G_A2B(I_A)) ≈ I_A 와 G_A2B(G_B2A(I_B)) ≈ I_B.
• 생성기는 3D 컨볼루션, 6개의 잔차 블록, 다운샘플링 및 업샘플링 레이어를 포함하며, ReLU 및 tanh 활성화 함수를 사용한다.
• 판별기는 3D 컨볼루션과 LeakyReLU(0.2)를 사용하며, 51×51×51 수신 영역을 가진 패치GAN 판별기를 사용하여 국소 영상 패치를 분류한다.
• 데이터 전처리는 FSL의 epi_reg와 flirt를 사용하여 fMRI와 T1 영상을 MNI 152 템플릿에 정렬한 후, 152×180×120 박자로 자르는 것으로 이루어졌다.
• 데이터 증강은 160명의 훈련 대상자 각각에 대해 10개의 랜덤 3D 회전(평균 0°, 표준편차 10°)을 적용하여 총 1,760개의 증강된 훈련 영상 생성.

실험 결과

연구 질문

• RQ1 쌍화되지 않은 훈련 데이터 없이도 3D CycleGAN이 T1-강조 MRI 영상에서 현실적인 fMRI 영상을 효과적으로 합성할 수 있는가?
• RQ2 부분 영상 대비 전체 3D 영상 훈련이 생성된 fMRI 영상의 품질과 일관성에 향상 효과를 주는가?
• RQ3 합성된 fMRI 영상이 T1-fMRI 정렬 알고리즘 평가를 위한 신뢰할 수 있는 기준이 될 수 있는가?
• RQ4 3D CycleGAN이 fMRI 데이터의 심각한 기하학적 왜곡을 다룰 때 해부학적 구조를 얼마나 잘 유지하는가?
• RQ5 2D 접근 방식에 비해 3D CycleGAN의 성능은 상하좌우 슬라이스 연속성과 구조적 충실도 측면에서 어떻게 비교되는가?

주요 결과

• 3D CycleGAN은 T1-강조 영상에서 현실적인 fMRI 영상을 성공적으로 합성했으며, 시각적 품질이 해부학적 구조의 타당한 유지 정도를 나타낸다.
• 특히 왜곡이 최소한인 상부 뇌 영역에서, 합성된 fMRI 영상은 일관된 대trast와 공간 패턴을 보였다.
• 기하학적 왜곡이 더 심각한 하부 뇌 영역에서는 모델가 비선형 변환을 복잡하게 학습하여 강도 및 공간 변동성에 대한 강건성을 보였다.
• 전체 3D 영상(152×180×120)과 미니배치 크기 1을 사용한 훈련 과정은 Nvidia Tesla V100 GPU(32GB 메모리)에서 24일이 소요되었다.
• 쌍화되지도 않고 정렬되지도 않은 T1 및 fMRI 영상 간 교차 모달 번역에 대해 이 방법이 가능함을 입증하였으며, 향후 정렬 기준 평가 응용 가능성을 시사한다.
• 결과적으로 합성된 fMRI 영상가 T1 기반 영상과 본질적으로 정렬되어 있으므로, 비선형 정렬을 통한 왜곡 보정을 위한 기준으로 사용될 수 있음을 시사한다.