[논문 리뷰] Radon Inversion via Deep Learning

Ji He, Jianhua Ma|arXiv (Cornell University)|2018. 08. 09.

Medical Imaging Techniques and Applications참고 문헌 2인용 수 3

한 줄 요약

이 논문은 전통적인 다단계 재구성 방식을 통합된 신경망으로 대체하는 엔드 투 엔드 라돈 역행렬을 위한 딥러닝 프레임워크인 iRadonMap을 제안한다. 이 방법은 시각적 각도 방향의 학습 가능한 필터링 및 사인파 역투영 층을 사용한 후 잔차 컨볼루션 신경망을 거쳐, 특히 저선량 및 희박한 시야 조건에서 FBP보다 열등한 잡음과 에지 손실을 억제하는 데 성공한다.

ABSTRACT

Radon transform is widely used in physical and life sciences and one of its major applications is the X-ray computed tomography (X-ray CT), which is significant in modern health examination. The Radon inversion or image reconstruction is challenging due to the potentially defective radon projections. Conventionally, the reconstruction process contains several ad hoc stages to approximate the corresponding Radon inversion. Each of the stages is highly dependent on the results of the previous stage. In this paper, we propose a novel unified framework for Radon inversion via deep learning (DL). The Radon inversion can be approximated by the proposed framework with an end-to-end fashion instead of processing step-by-step with multiple stages. For simplicity, the proposed framework is short as iRadonMap (inverse Radon transform approximation). Specifically, we implement the iRadonMap as an appropriative neural network, of which the architecture can be divided into two segments. In the first segment, a learnable fully-connected filtering layer is used to filter the radon projections along the view-angle direction, which is followed by a learnable sinusoidal back-projection layer to transfer the filtered radon projections into an image. The second segment is a common neural network architecture to further improve the reconstruction performance in the image domain. The iRadonMap is overall optimized by training a large number of generic images from ImageNet database. To evaluate the performance of the iRadonMap, clinical patient data is used. Qualitative results show promising reconstruction performance of the iRadonMap.

연구 동기 및 목표

• 순차적 단계에서의 오차에 민감한 기존의 다단계 X선 CT 재구성 파이프라인의 한계를 해결하기 위해.
• 임의의 순차적 처리 단계를 회피하는 통합된 엔드 투 엔드 딥러닝 프레임워크를 개발하기 위해.
• 데이터에서 직접 최적의 필터링 및 역투영 연산을 학습함으로써 저선량 및 희박한 시야 CT에서 재구성 품질을 향상시키기 위해.
• 훈련 중에 실제 임상 환자 데이터를 사용하지 않고도 모델의 일반화 능력을 실재 임상 데이터에서 평가하기 위해.
• 기존의 FBP 및 반복적 방법에 비해 스트레이이트 잡음과 세부 구조를 보존하는 데 효과적인가를 평가하기 위해.

제안 방법

• iRadonMap 프레임워크는 두 가지 주요 모듈로 구성된다: 시야 각도 방향의 학습 가능한 완전 연결 필터링 층과 학습 가능한 사인파 역투영 층.
• 첫 번째 모듈은 매개변수화된 필터링 연산을 통해 원시 라돈 투영을 처리한 후, 사인파 기저 함수를 사용한 매개변수화된 역투영을 수행한다.
• 두 번째 모듈은 완전 컨volutional 잔차 컨볼루션 신경망(ResNet을 영감으로 삼음)을 활용하여 재구성된 이미지를 정제하고, 질감과 구조적 정확성을 향상시킨다.
• 전체 네트워크는 대규모 ImageNet 유래 이미지 데이터셋에서 예측된 이미지와 기준 이미지 간의 평균 제곱오차(MSE) 손실을 사용해 엔드 투 엔드로 훈련된다.
• 훈련에는 학습률 0.00002, 배치 크기 2를 사용한 RMSProp 옵티마이저를 사용하며, 잔차 네트워크에는 배치 정규화를 적용하지 않는다.
• 라돈 투영은 평행 기하학을 사용한 ASTRA 도구상자로 생성되었으며, 네트워크는 62,899개의 중심 512×512 크기의 회색조 이미지로 훈련되었다.

실험 결과

연구 질문

• RQ1 딥러닝 프레임워크가 저선량 및 희박한 시야 CT에서 기존의 필터링된 역투영(FBP)에 비해 뛰어난 라돈 역행렬 성능을 달성할 수 있는가?
• RQ2 엔드 투 엔드 딥러닝 모델이 CT 재구성에서 스트레이이트 잡음을 얼마나 줄이고 에지 세부 정보를 보존할 수 있는가?
• RQ3 일반적인 ImageNet 이미지로 사전 훈련된 모델이 실제 CT 스캔 데이터로의 피팅 없이도 임상 환자 데이터에 잘 일반화되는가?
• RQ4 학습 가능한 필터링 및 사인파 역투영 층이 라돈 역행렬에서 기존의 고정된 투영 연산자를 효과적으로 대체할 수 있는가?
• RQ5 예측된 두 단계 네트워크 아키텍처(투영 처리 + 이미지 정제)가 기준 FBP 및 반복적 방법에 비해 시각적 재구성 품질에서 뛰어나게 성능을 내는가?

주요 결과

• iRadonMap은 1160개의 시야로 구성된 전체 시야 조건에서 FBP와 유사한 재구성 품질을 달성하여 표준 영상 조건에서의 강건성을 입증하였다.
• 희박한 시야 조건(예: 145 및 72개의 시야)에서 iRadonMap은 FBP에 비해 심각한 노이즈와 스트레이이트 잡음을 크게 감소시켰다.
• 기준 이미지와 iRadonMap 재구성 이미지 간의 차이 이미지에서는 기준 이미지와 FBP 재구성 이미지 간의 차이 이미지보다 오차가 적고 세부 구조가 더 잘 보존된 것으로 나타났다.
• 차이 이미지의 시각적 비교와 재구성 품질을 통해 iRadonMap은 FBP보다 더 많은 에지 세부 정보를 유지함을 입증하였다.
• 훈련 중에 임상 데이터를 사용하지 않았음에도 불구하고, 모델은 실제 임상 환자 데이터에 잘 일반화되어 있어, 일반적인 ImageNet 데이터에서의 강력한 전이 능력을 보였다.
• 학습 가능한 사인파 역투영 층의 사용은 완전 연결 층 대비 더 적은 파라미터로 효과적인 재구성을 가능하게 하여 효율성과 학습 능력을 향상시켰다.