[논문 리뷰] 2.5D Deep Learning for CT Image Reconstruction using a Multi-GPU implementation

Amirkoushyar Ziabari, Dong Hye Ye외 4명|arXiv (Cornell University)|2018. 12. 20.

Medical Imaging Techniques and Applications참고 문헌 12인용 수 6

한 줄 요약

이 논문은 컴퓨터 단층촬영(CT)에서 고품질 모델 기반 반복 재구성(MBIR)을 훨씬 낮은 계산 비용으로 근사하는 딥러닝 기반 MBIR(DL-MBIR)를 제안한다. 다중 GPU를 활용한 텐서플로우 구현을 통해 FBP와 MBIR 간 잔차를 학습한 2.5D 잔차 컨볼루션 신경망은 3D DL-MBIR 수준의 영상 품질을 거의 달성하면서도 2D 수준의 추론 속도를 유지하여 임상적 CT 재구성에 있어 정밀도와 효율성의 실용적인 균형을 제공한다.

ABSTRACT

While Model Based Iterative Reconstruction (MBIR) of CT scans has been shown to have better image quality than Filtered Back Projection (FBP), its use has been limited by its high computational cost. More recently, deep convolutional neural networks (CNN) have shown great promise in both denoising and reconstruction applications. In this research, we propose a fast reconstruction algorithm, which we call Deep Learning MBIR (DL-MBIR), for approximating MBIR using a deep residual neural network. The DL-MBIR method is trained to produce reconstructions that approximate true MBIR images using a 16 layer residual convolutional neural network implemented on multiple GPUs using Google Tensorflow. In addition, we propose 2D, 2.5D and 3D variations on the DL-MBIR method and show that the 2.5D method achieves similar quality to the fully 3D method, but with reduced computational cost.

연구 동기 및 목표

• 모델 기반 반복 재구성(MBIR)의 높은 계산 비용이 임상적 CT에서 널리 보급되지 못하고 있음에도 불구하고 뛰어난 영상 품질을 제공하므로, 이를 해결하고자 한다.
• 이미지 품질을 손상시키지 않고도 빠르고 고정밀도의 재구성을 가능하게 하는 MBIR의 딥러닝 기반 대체 모델을 개발하고자 한다.
• 잔차 컨volutional 신경망의 2D, 2.5D, 3D 버전을 탐색하고 비교하여 전체 3D 처리에 비해 계산 비용이 낮은 대안을 찾고자 한다.
• 임상적 CT 데이터셋에서 대규모 DL-MBIR에 대해 다중 GPU를 활용한 학습 및 추론의 가능성을 입증하고자 한다.

제안 방법

• DL-MBIR 프레임워크는 FBP와 MBIR 재구성 간 잔차를 예측하기 위해 훈련된 16층의 잔차 컨볼루션 신경망을 사용한다.
• 예측된 잔차와 진짜 MBIR 잔차 간의 차이를 최소화하기 위해 평균 제곱오차 손실 함수를 사용하여 엔드 투 엔드로 학습한다.
• 2.5D 구현은 이웃한 슬라이스로부터의 맥락적 깊이 정보를 활용하여 2D 컨볼루션을 사용하지만, z축 방향의 맥락을 통합한다.
• 다중 GPU 학습은 텐서플로우에서 데이터 병렬 처리를 통해 구현되며, GPU 간 업데이트를 동기화하기 위해 CPU에서 기울기 평균을 계산한다.
• 2.5D 방법은 2D 커널을 사용하지만, 여러 축방향 슬라이스를 통해 3D의 평면 내 및 관통 방향 의존성을 시뮬레이션한다.
• 최종 재구성 결과는 예측된 잔차를 원본 FBP 영상에 더하여 MBIR의 고품질 근사치를 도출한다.

실험 결과

연구 질문

• RQ1 FBP와 MBIR 영상 쌍만을 지도로 사용하여 딥 루프 컨volution 신경망이 MBIR 재구성 결과를 효과적으로 근사할 수 있는가?
• RQ2 2.5D 처리를 통해 3D 구조적 정보를 포함시킬 경우, 순수 2D 또는 전체 3D 방법 대비 재구성 품질에 어떤 영향을 미치는가?
• RQ3 2.5D DL-MBIR 방법은 3D DL-MBIR 수준의 영상 품질을 달성하면서도 2D 처리 수준의 계산 효율성을 유지하는가?
• RQ4 대규모 CT 재구성 네트워크에 대해 다중 GPU 구현이 학습 속도 및 확장성에 어떤 영향을 미치는가?
• RQ5 제안된 DL-MBIR 프레임워크는 임상적 CT 스캔에서 재구성 시간을 크게 줄이면서도 진단용 영상 품질을 유지할 수 있는가?

주요 결과

• 사례 연구 1의 90번째 슬라이스에서 2.5D DL-MBIR는 PSNR 69.93 dB를 기록하여 2D DL-MBIR(68.3 dB)를 초월하고 3D DL-MBIR(69.51 dB)에 근접했다.
• 사례 연구 2의 150번째 슬라이스에서 2.5D DL-MBIR는 PSNR 70.1 dB를 기록하여 2D DL-MBIR(69.0 dB)를 초월하고 3D DL-MBIR(69.7 dB)와 동일했다.
• 시각적 비교 결과, 2.5D 및 3D DL-MBIR는 2D DL-MBIR 및 FBP 재구성에서 관찰된 줄무늬 잡음과 노이즈를 효과적으로 감소시켰다.
• 차이 영상에서 볼 수 있듯이, 2.5D 방법은 여러 슬라이스에서 MBIR와의 재구성 오차를 2D DL-MBIR보다 30–40% 더 줄였다.
• 다중 GPU 구현은 빠른 성능 향상을 달성하여, 1 GPU에서 4 GPU로 전환함으로써 에포크당 학습 시간이 감소했으며, 대규모 데이터셋에서의 효율적 학습을 가능하게 했다.
• 2.5D 접근법은 영상 품질과 계산 비용 사이에 유리한 트레이드오프를 제공하여 임상 적용에 매우 적합한 후보로 부상했다.