[논문 리뷰] Computed Tomography Image Enhancement using 3D Convolutional Neural Network

Li Meng, Shiwen Shen외 3명|arXiv (Cornell University)|2018. 07. 18.

Advanced Image Processing Techniques참고 문헌 6인용 수 5

한 줄 요약

이 논문은 두꺼운 슬라이스 CT 스캔의 공간 해상도를 향상시키기 위해 슬라이스 간 체적 상관관계를 활용하는 3D 컨volution 신경망(3DECNN)을 제안한다. LIDC 데이터셋의 20,672개의 CT 슬라이스를 훈련시켜, 최신 기술 대비 유의미한 향상(PSNR 29.3087 dB, SSIM 0.8529)을 달성하였으며, p값 <2.2e-16로 이산화보간, FSRCNN, ESPCN을 모두 뛰어넘었다.

ABSTRACT

Computed tomography (CT) is increasingly being used for cancer screening, such as early detection of lung cancer. However, CT studies have varying pixel spacing due to differences in acquisition parameters. Thick slice CTs have lower resolution, hindering tasks such as nodule characterization during computer-aided detection due to partial volume effect. In this study, we propose a novel 3D enhancement convolutional neural network (3DECNN) to improve the spatial resolution of CT studies that were acquired using lower resolution/slice thicknesses to higher resolutions. Using a subset of the LIDC dataset consisting of 20,672 CT slices from 100 scans, we simulated lower resolution/thick section scans then attempted to reconstruct the original images using our 3DECNN network. A significant improvement in PSNR (29.3087dB vs. 28.8769dB, p-value &lt; 2.2e-16) and SSIM (0.8529dB vs. 0.8449dB, p-value &lt; 2.2e-16) compared to other state-of-art deep learning methods is observed.

연구 동기 및 목표

• 두꺼운 슬라이스 CT 스캔에서 낮은 공간 해상도 문제를 해결하여 폐암 선별 시 보조 진단에 영향을 미치는 병변 탐지 능력을 향상시키기 위해.
• 체적 CT 데이터에서 슬라이스 간 상관관계를 忽시하는 2D 초해상도 방법의 한계를 극복하기 위해.
• 세밀한 구조를 유지하고 잡음과 아티팩트를 줄이는 방식으로 이미지 품질을 향상시키는 3D 딥 러닝 프레임워크를 개발하기 위해.
• 저해상도 촬영에서 고해상도 세부 정보를 복원함으로써 컴퓨터 보조 진단(CAD) 시스템의 성능을 향상시키기 위해.

제안 방법

• 3DECNN 아키텍처는 CT 데이터의 체적 상관관계를 활용하기 위해 모든 세 가지 차원(슬라이스 두께, 높이, 너비)에 3D 컨볼루션 필터를 적용한다.
• 커널 크기가 3인 3개의 스택된 3D 컨볼루션 레이어를 사용한 후, 특징 맵을 업샘플링하기 위해 3D 디컨볼루션 레이어를 적용한다.
• 최종적으로 2D 컨볼루션 레이어를 통해 3D 출력을 2D 초해상도 슬라이스로 변환하여 2D 기반 방법과 직접 비교할 수 있도록 한다.
• 예측값과 진짜 고해상도 이미지 간의 차이를 최소화하는 손실 함수를 사용하여 엔드 투 엔드로 모델을 훈련시킨다.
• 필터 수(64, 64, 32), 커널 크기(3), 레이어 수(3) 등의 네트워크 하이퍼파라미터는 추론 실험을 통해 최적화되었다.
• 최종 모델은 3D 컨볼루션을 갖는 5개의 잔차 블록을 사용하며, 최종 디컨볼루션 레이어는 32개 필터를 가지며, Tesla K40 GPU에서 학습되었다.

실험 결과

연구 질문

• RQ1 슬라이스 간 정보를 활용함으로써 3D 컨볼루션 신경망이 저선량 또는 두꺼운 슬라이스 CT 스캔의 해상도 향상에 효과적으로 기여할 수 있는가?
• RQ2 FSRCNN 및 ESPCN과 같은 2D 초해상도 방법 대비 CT 영상에서 PSNR 및 SSIM 측면에서 3D 특징 학습 방식은 어떤가?
• RQ3 3D CT 볼륨의 초해상도에 최적의 네트워크 깊이, 필터 수, 커널 크기 조합은 무엇인가?
• RQ4 제안된 3DECNN 방법이 기존의 보간법이나 2D CNN보다 진단에 유의미한 구조(예: 폐 병변)를 더 잘 유지하는가?

주요 결과

• 테스트 세트에서 3DECNN은 평균 PSNR 29.3087 dB를 기록하여, p값 <2.2e-16로 이산화보간(28.8769 dB)보다 유의미하게 높았다.
• 방법은 평균 SSIM 0.8529를 달성하여, p값 <2.2e-16로 이산화보간(0.8449) 및 기타 SOTA 방법을 모두 능가했다.
• FSRCNN-s 대비 PSNR는 0.8357 dB 향상되었고, SSIM은 0.0136 향상되었으며, 모두 p값 <2.2e-16이었다.
• 추론 실험 결과, 커널 크기 3이 가장 우수한 성능을 보였고, 더 큰 커널(5, 9)은 노이즈 증가로 인해 성능 저하를 초래했다.
• 최적의 구성은 각각 64, 64, 32개 필터를 갖는 3개의 잔차 블록과 32개 필터를 갖는 디컨볼루션 레이어를 사용한 것이었다.
• 주관적 평가 결과, 3DECNN은 다른 방법 대비 더 선명한 윤곽선과 더 잘 보존된 병변을 생성함을 확인했다.