[논문 리뷰] Application of Spherical Convolutional Neural Networks to Image Reconstruction and Denoising in Nuclear Medicine

Amirreza Hashemi, Yuemeng Feng외 2명|arXiv (Cornell University)|2023. 07. 06.

Medical Imaging Techniques and ApplicationsMedicine인용 수 3

한 줄 요약

이 논문은 핵의학 영상에서 이미지 복원 및 노이즈 제거를 위한 전통적인 CNN보다 더 효율적이고 높은 성능을 보이는 구면 컨volution 신경망(SCNN)을 제안한다. 회전 불변성의 특성을 활용함으로써 SCNN은 대규모 학습 데이터 세트에 대한 의존도를 줄이고, 표준 CNN에 비해 훨씬 낮은 계산 비용으로 뛰어난 이미지 품질을 달성한다. 이는 회전에 민감한 단층 영상 촬영 분야에서 큰 잠재력을 지닌다.

ABSTRACT

This work investigates use of equivariant neural networks as efficient and high-performance frameworks for image reconstruction and denoising in nuclear medicine. Our work aims to tackle limitations of conventional Convolutional Neural Networks (CNNs), which require significant training. We investigated equivariant networks, aiming to reduce CNN's dependency on specific training sets. Specifically, we implemented and evaluated equivariant spherical CNNs (SCNNs) for 2- and 3-dimensional medical imaging problems. Our results demonstrate superior quality and computational efficiency of SCNNs in both image reconstruction and denoising benchmark problems. Furthermore, we propose a novel approach to employ SCNNs as a complement to conventional image reconstruction tools, enhancing the outcomes while reducing reliance on the training set. Across all cases, we observed significant decrease in computational cost by leveraging the inherent inclusion of equivariant representatives while achieving the same or higher quality of image processing using SCNNs compared to CNNs. Additionally, we explore the potential of SCNNs for broader tomography applications, particularly those requiring rotationally variant representation.

연구 동기 및 목표

• 핵의학 영상 복원에서 전통적인 CNN의 높은 계산 비용과 데이터 의존도 문제를 해결하기 위해.
• 등변성 구면 컨volution 신경망(SCNN)이 2차원 및 3차원 의료 영상 작업에서 어떻게 성능을 발휘하는지 조사하기 위해.
• SCNN를 통해 기하학적 불변성을 활용하여 대규모 작업 전용 학습 데이터 세트에 대한 의존도를 줄이기 위해.
• 기존 복원 방법과의 보완적 프레임워크로서 SCNN의 성능을 평가하고 출력 품질을 향상시키기 위해.
• SCNN의 회전에 민감한 단층 영상 촬영 응용 분야에서의 광범위한 적용 가능성을 탐색하기 위해.

제안 방법

• 구면에서 회전 불변성을 유지하는 설계된 구면 컨volution 신경망(SCNN)의 구현으로, 구면 상의 기하학적 구조를 보존한다.
• 실제 및 시뮬레이션된 SPECT/PET 데이터를 사용하여 핵의학 영상에서 2차원 및 3차원 이미지 복원 및 노이즈 제거 작업에 SCNN를 적용한다.
• SO(3) 회전에 대한 불변성을 확보하기 위해 구면 조화함수와 군 컨볼루션 연산을 사용한다. 이는 다양한 방향으로의 일반화를 가능하게 한다.
• 기존 복원 알고리즘과의 후처리 또는 하이브리드 모듈로 SCNN를 통합하여 이미지 품질을 향상시킨다.
• 기준 데이터셋에서 PSNR, SSIM 및 계산 효율성과 같은 정량적 지표를 사용해 학습 및 평가를 수행한다.
• 정확도 및 속도 향상을 평가하기 위해 동일 조건에서 표준 CNN과의 성능 비교를 수행한다.

실험 결과

연구 질문

• RQ1 구면 CNN은 핵의학 영상에서 표준 CNN보다 뛰어난 이미지 복원 및 노이즈 제거 성능을 달성할 수 있는가?
• RQ2 SCNN는 대규모 작업 전용 학습 데이터 세트에 대한 의존도를 어느 정도 줄일 수 있는가?
• RQ3 SCNN의 회전 불변성은 다양한 이미지 방향 간의 일반화를 어떻게 향상시키는가?
• RQ4 SCNN는 기존 복원 파이프라인에 효과적으로 통합되어 출력 품질을 향상시킬 수 있는가?
• RQ5 2차원 및 3차원 의료 영상 작업에서 SCNN의 계산 효율성은 표준 CNN에 비해 어떠한가?

주요 결과

• 모든 기준 복원 및 노이즈 제거 작업에서 SCNN는 PSNR 및 SSIM 측정 기준으로 표준 CNN보다 높은 이미지 품질을 달성했다.
• SCNN의 계산 비용은 등변 표현의 내재적 특성 덕분에 표준 CNN보다 훨씬 낮았다.
• 기하학적 불변성 덕분에 SCNN는 더 적은 데이터로도 높은 성능을 유지하며 대규모 학습 데이터 세트에 대한 의존도를 감소시켰다.
• 기존 복원 도구와의 보완적 통합을 통해 SCNN는 이미지 정밀도 향상과 노이즈 억제 향상에 명확한 개선 효과를 보였다.
• SCNN는 회전에 민감한 영상 촬영 시나리오 전반에 걸쳐 뛰어난 일반화 능력을 보였으며, 복잡한 단층 영상 응용 분야에 적합함을 시사했다.
• 2025년 1월에 발표된 최종 버전(v3)은 3차원 의료 영상 데이터에 대한 확장된 결과와 검증을 포함하여 성능 및 효율성 향상의 일관성을 확인했다.