[논문 리뷰] Fast PET reconstruction using Multi-scale Fully Convolutional Neural Networks

Jieqing Jiao, Sébastien Ourselin|arXiv (Cornell University)|2017. 04. 24.

Medical Imaging Techniques and Applications참고 문헌 2인용 수 13

한 줄 요약

이 논문은 확장된 컨볼루션과 주기적 샘플링을 활용하여 효율적이고 해상도를 유지하는 다운스케일링 및 업스케일링을 가능하게 함으로써, 빠르고 고성능의 PET 영상 재구성용 다중 척도 완전 컨볼루션 신경망(msfCNN)을 제안한다. 시뮬레이션 데이터로 훈련된 msfCNN는 프레임당 1초 미만의 재구성 속도를 달성하여 OSEM보다 30배 이상 빠르며, 종양학적 및 신경퇴행성 영상에서 반복적 방법과 동등한 영상 품질을 확보한다.

ABSTRACT

Reconstruction of PET images is an ill-posed inverse problem and often requires iterative algorithms to achieve good image quality for reliable clinical use in practice, at huge computational costs. In this paper, we consider the PET reconstruction a dense prediction problem where the large scale contextual information is essential, and propose a novel architecture of multi-scale fully convolutional neural networks (msfCNN) for fast PET image reconstruction. The proposed msfCNN gains large receptive fields with both memory and computational efficiency, by using a downscaling-upscaling structure and dilated convolutions. Instead of pooling and deconvolution, we propose to use the periodic shuffling operation from sub-pixel convolution and its inverse to scale the size of feature maps without losing resolution. Residual connections were added to improve training. We trained the proposed msfCNN model with simulated data, and applied it to clinical PET data acquired on a Siemens mMR scanner. The results from real oncological and neurodegenerative cases show that the proposed msfCNN-based reconstruction outperforms the iterative approaches in terms of computational time while achieving comparable image quality for quantification. The proposed msfCNN model can be applied to other dense prediction tasks, and fast msfCNN-based PET reconstruction could facilitate the potential use of molecular imaging in interventional/surgical procedures, where cancer surgery can particularly benefit.

연구 동기 및 목표

• 실시간 임상 환경(예: 수술 중 영상)에서의 적용을 제한하는 반복적 PET 재구성 방법의 높은 계산 비용을 해결한다.
• 소음 모델링이 열악하여 소음과 스테이크 아티팩트가 발생하는 분석적 방법(FBP)의 한계를 극복한다.
• 대규모 문맥 정보를 활용하기 위해 PET 재구성을 조밀한 예측 문제로 간주하는 딥 러닝 기반 접근법을 개발한다.
• 특징 맵 스케일링 중 공간 해상도를 유지하는 메모리 및 계산 비용 효율적인 아키텍처를 설계한다.
• 내시술 및 수술 절차에 통합 가능한 빠르고 정확한 PET 재구성 기술을 가능하게 한다.

제안 방법

• 수용장이 확장된 컨볼루션을 사용하여 파rameter 수나 계산 비용을 증가시키지 않으면서도 수용장이 확장된 컨볼루션을 활용한 다중 척도 완전 컨볼루션 신경망(msfCNN)을 제안한다.
• 풀링과 디컨볼루션을 대체하기 위해 서브픽셀 컨볼루션에서 유래한 주기적 샘플링 연산을 활용하여 특징 맵을 해상도 손실 없이 다운스케일링 및 업스케일링한다.
• 깊은 아키텍처에서 학습 안정성과 기울기 흐름 향상을 위해 잔차 연결을 통합한다.
• 역 라돈 변환을 사용하여 원시 시노그램 데이터를 영상 공간으로 투영하여, 파rameter가 많은 완전 연결층을 피한다.
• 스캐너 특성 모델링 없이도 시뮬레이션된 PET 데이터에서 평균 제곱오차 손실을 사용해 msfCNN를 엔드 투 엔드로 훈련한다.
• 실제 임상 PET 데이터(시멘스 mMR 스캐너)에 대해 훈련된 모델을 적용하여, 속도를 높이기 위해 2D 축 방향 슬라이스를 개별적으로 재구성한다.

실험 결과

연구 질문

• RQ1 다중 척도 문맥 모델링을 갖춘 완전 컨볼루션 신경망은 반복적 방법보다 더 빠르게 PET 영상을 재구성하면서도 진단용 영상 품질을 유지할 수 있는가?
• RQ2 풀링과 디컨볼루션을 주기적 샘플링으로 대체할 경우, PET 재구성에서 공간 해상도를 유지하고 뿌연 이미지의 발생을 줄일 수 있는가?
• RQ3 스캐너 특성 모델링 없이도, 시뮬레이션 데이터로 훈련된 모델이 실제 임상 PET 스캔에 충분히 일반화되는가?
• RQ4 msfCNN는 암 수술 중 종양 평가와 같은 실시간 응용 분야에 충분한 속도를 확보할 수 있는가?
• RQ5 확장된 컨볼루션과 잔차 연결이 재구성 정확도와 학습 안정성에 미치는 영향은 무엇인가?

주요 결과

• msfCNN는 테슬라 K40c GPU에서 29프레임의 [18F]플로르베타피르 PET 스캔을 54초 내에 재구성했으며, OSEM의 프레임당 약 1분과 비교해 30배 빠른 속도를 기록했다.
• msfCNN는 2D 축 슬라이스당 약 15밀리초의 재구성 시간을 확보하여 임상 적용에 적합한 실시간 가능성임을 입증했다.
• 알츠하이머 환자 158개 뇌 영역에서 msfCNN와 OSEM 재구성 간의 지역적 트레이서 집합값 간 상관계수가 매우 높았으며(r = 0.9503) 이를 확인했다.
• msfCNN는 [18F]콜린 스캔에서 종양 경계를 효과적으로 복원하여, 2D에서 작동함에도 불구하고 OSEM 재구성 수준의 진단 품질을 확보했다.
• 양측 재구성 품질이 동등한 가운데 msfCNN는 계산 효율성 면에서 OSEM를 초월했으며, 정량화 및 종양 탐지에서 동등한 성능을 보였다.
• 주기적 샘플링으로 인한 해상도 손실가 없는 특성 덕분에, 기존 전치 컨볼루션 기반 업스케일링보다 더 선명한 재구성 영상을 제공했다.