[논문 리뷰] Highly Scalable Image Reconstruction using Deep Neural Networks with Bandpass Filtering

Joseph Y. Cheng, Feiyu Chen외 3명|arXiv (Cornell University)|2018. 05. 08.

Advanced MRI Techniques and Applications참고 문헌 36인용 수 33

한 줄 요약

이 논문은 고도로 미리 샘플링된 k-space 데이터로부터 매우 스케일링 가능한 MRI 재구성에 기반한 밴드패스 필터링 기반의 딥 신경망 아키텍처를 제안한다. 국소적 패치 처리를 통해 k-space 도메인에서 직접 컨볼루션 네트워크를 적용하고, 영상 모델을 통해 데이터 일관성을 강제함으로써, 측정된 데이터를 유지하면서도 병렬 처리 및 다차원 MRI 데이터셋 전반에 걸쳐 스케일링 가능한 빠르고 정확한 재구성을 달성한다.

ABSTRACT

To increase the flexibility and scalability of deep neural networks for image reconstruction, a framework is proposed based on bandpass filtering. For many applications, sensing measurements are performed indirectly. For example, in magnetic resonance imaging, data are sampled in the frequency domain. The introduction of bandpass filtering enables leveraging known imaging physics while ensuring that the final reconstruction is consistent with actual measurements to maintain reconstruction accuracy. We demonstrate this flexible architecture for reconstructing subsampled datasets of MRI scans. The resulting high subsampling rates increase the speed of MRI acquisitions and enable the visualization rapid hemodynamics.

연구 동기 및 목표

• 기존의 CNN이 k-space 도메인에서 측정값에 대한 데이터 일관성이 부족하고 측정값이 k-space에 있을 경우 스케일링이 불량한 점을 해결한다.
• 고정된 영상 차원에서의 학습 및 추론 문제를 국소적 패치를 사용한 측정 도메인(kspace)에서 직접 운영함으로써 극복한다.
• 재구성을 독립적인 k-space 패치로 분리함으로써 효율적이고 병렬 처리 가능한 학습 및 추론을 가능하게 하되, 전반적인 데이터 일관성을 유지한다.
• 물리적 영상 모델을 네트워크 아키텍처에 통합함으로써 고도로 미리 샘플링된 경우(>8×)에도 높은 재구성 정확도를 유지한다.
• 비카르테시안 및 웨이브 인코딩 샘플링 궤적을 포함한 다양한 MRI 촬영 기법에 적응 가능한 탄력적인 프레임워크를 제공한다.

제안 방법

• 방법은 주어진 주파수 도메인에서 k-space 데이터의 국소적 패치를 직접 처리하여, 네트워크 추론 중 영상 도메인으로의 변환을 피한다.
• 딥 컨볼루션 신경망(ConvnNet)은 측정 모델(코일 감도 지도 포함)을 인덕티브 바이어스로 사용하여, 부분적으로 샘플링된 입력에 대해 완전히 샘플링된 k-space 패치를 예측하도록 학습된다.
• 네트워크 출력은 전체 k-space 재구성에 다시 삽입되어, 데이터 일관성 단계를 통해 최종 영상이 원래 측정된 데이터와 일치함을 보장한다.
• 각 k-space 패치를 독립적으로 처리함으로써 아키텍처가 병렬 처리를 지원하여 메모리 및 계산 병목 현상을 크게 줄인다.
• 이미징 모델은 수반 연산자 Aᴴ를 통해 통합되어, 네트워크가 물리적 촬영 과정에서 학습하면서도 유연성을 유지할 수 있다.
• 입력 및 출력에서 복소수 데이터 채널의 수를 유지함으로써, 추정된 샘플을 원래 측정값으로 직접 교체하여 데이터 무결성을 강제할 수 있다.

실험 결과

연구 질문

• RQ1 측정된 MRI 촬영 결과와 데이터 일관성을 유지하면서도 k-space 도메인에서 직접 작동하는 딥 신경망 아키텍처를 설계할 수 있는가?
• RQ2 측정 도메인에서의 패치 기반 처리 방식은 딥 러닝 기반 MRI 재구성에서 스케일링과 병렬 처리를 어떻게 향상시키는가?
• RQ3 주파수 대역 특성에 대한 명시적 모델링 없이도 단일 공유 ConvNet이 다양한 k-space 영역에 대해 일반화할 수 있는 정도는 어느 정도인가?
• RQ4 제안된 밴드패스 네트워크는 압축 감지 기법과 비슷한 재구성 정확도를 달성하면서도 훨씬 더 빠르고 스케일링 가능한가?
• RQ5 비카르테시안 샘플링 궤적(예: 웨이브 인코딩 영상)에 대해서도 주요 아키텍처 변경 없이 잘 일반화되는가?

주요 결과

• 밴드패스 네트워크는 상태 최고 수준의 압축 감지 방법과 비슷한 영상 재구성 품질을 달성하였으며, 특히 미세한 해부학적 세부 사항과 영상 선명도 복원에 뛰어난 성능을 보였다.
• 웨이브 인코딩을 사용한 고도로 미리 샘플링된 k-space 데이터(3.2배의 샘플링 요소)로부터 2D T2-중력 복부 MRI 스캔을 성공적으로 재구성하였으며, 시각적 품질이 압축 감지 기반 참값과 유사하였다.
• 최종 재구성 영상이 원래 측정된 k-space 샘플과 일치하도록 보장함으로써 데이터 일관성이 유지되어 실제 측정치에서의 이탈을 방지하였다.
• 독립적인 k-space 패치를 처리함으로써 기존의 패치 기반 영상 도메인 네트워크보다 계산적 확장성 면에서 뛰어난 효율성과 병렬 추론을 달성하였다.
• 노이즈 및 잡음에 대한 강건성을 보였으며, 확대된 영상 영역에서 세부 구조의 복원이 향상된 점이 두드러졌다(예: 그림 10의 화살표 참조).
• 그리딩을 포함한 이미징 모델 연산자를 수정함으로써 비카르테시안 샘플링에 적응 가능한 것으로 나타나, 카르테시안 궤적을 넘어서 광범위한 응용 가능성을 보였다.