[논문 리뷰] SAINT: Spatially Aware Interpolation NeTwork for Medical Slice Synthesis

Cheng Peng, Wei-An Lin외 3명|arXiv (Cornell University)|2020. 01. 03.

Advanced Image Processing Techniques참고 문헌 19인용 수 7

한 줄 요약

SAINT는 3D 의료 슬라이스 합성용 공간 인식형 보간 네트워크를 제안하며, 이는 이방향 메타보간을 사용하는 2D CNN을 활용해 임의의 업샘플링 요소를 처리하고 메모리 사용을 줄이며, 네 가지 CT 데이터셋에서 기존의 SISR 방법보다 PSNR와 SSIM 측면에서 뚜렷이 뛰어난 성능을 보이며 재학습 없이도 높은 품질의 세부 구조 복원을 유지한다.

ABSTRACT

Deep learning-based single image super-resolution (SISR) methods face various challenges when applied to 3D medical volumetric data (i.e., CT and MR images) due to the high memory cost and anisotropic resolution, which adversely affect their performance. Furthermore, mainstream SISR methods are designed to work over specific upsampling factors, which makes them ineffective in clinical practice. In this paper, we introduce a Spatially Aware Interpolation NeTwork (SAINT) for medical slice synthesis to alleviate the memory constraint that volumetric data poses. Compared to other super-resolution methods, SAINT utilizes voxel spacing information to provide desirable levels of details, and allows for the upsampling factor to be determined on the fly. Our evaluations based on 853 CT scans from four datasets that contain liver, colon, hepatic vessels, and kidneys show that SAINT consistently outperforms other SISR methods in terms of medical slice synthesis quality, while using only a single model to deal with different upsampling factors.

연구 동기 및 목표

• 비정규적인 CT 및 MR 데이터에서 체적 의료 영상의 3D 슈퍼레졸루션(SISR)에 발생하는 메모리 병목 현상을 해결하기 위해.
• 재학습 없이도 임의의 업샘플링 요소를 처리할 수 있는 단일 모델을 가능하게 하여 임상적 적응성을 향상시키기 위해.
• 보간 과정에 공간 해상도 정보(바voxel 간격)를 통합하여 해부학적 세부 구조 복원을 향상시키기 위해.
• 패치 기반 3D SISR 방법에서 발생하는 스티칭 아티팩트를 제거하기 위해 2D 기반 처리와 3D 컨텍스트 융합을 활용하기 위해.
• 다양한 해부학적 구조와 미사용 데이터셋에 걸쳐 높은 성능을 유지할 수 있는 경량이고 확장 가능한 프레임워크 개발을 위해.

제안 방법

• SAINT는 이중 단계 파이프라인을 활용한다: 첫 번째로, 이방향 메타보간(AMI)은 바voxel 간격을 고려하고 임의의 정수 업샘플링 요소를 지원하는 필터 생성 메타넷을 사용하여 2D 기반의 인터슬라이스 이미지 업샘플링을 수행한다.
• AMI는 메타-SR과 비교해 매 픽셀 필터 생성을 피하기 위해 전역적인 이미지 범위의 투영을 사용함으로써 메모리 오버헤드를 크게 줄인다.
• 두 번째로, 잔차 융합 네트워크(RFN)는 제3차원 방향으로 AMI의 출력을 융합하여 3D 컨텍스트를 개선하고 2D 처리에서 발생하는 일관성 없는 요소를 감소시킨다.
• RFN은 잔차 학습을 사용하여 미세한 세부 구조 복원을 향상시키고 안정적이고 빠른 수렴을 보장한다.
• 모델는 구조적 무결성과 아티팩트 감소를 위해 인지적 손실과 L1 손실을 함께 사용해 엔드 투 엔드로 훈련된다.
• 프레임워크는 확장 가능하도록 설계되어 있으며, 메모리 폭주 없이 더 깊거나 넓은 아키텍처로도 확장 가능하다.

실험 결과

연구 질문

• RQ1 패치 기반 3D 네트워크의 메모리 및 아티팩트 문제를 피하면서도 2D 기반 SISR 방법이 3D 의료 슬라이스 합성에서 경쟁적인 성능을 낼 수 있는가?
• RQ2 재학습 없이도 여러 업샘플링 요소(예: ×4, ×6)에 일반화할 수 있는 단일 딥러닝 모델이 가능한가?
• RQ3 보간 과정에 바voxel 간격 정보를 통합하면 이방향 의료 볼륨에서 해부학적 세부 구조 복원이 향상되는가?
• RQ4 다양한 Abdominal CT 구조에서 PSNR, SSIM 및 시각적 품질 측면에서 SAINT는 최신 SISR 방법보다 어떻게 비교되는가?
• RQ5 훈련에 사용되지 않은 데이터셋(예: 훈련에 사용되지 않은 신장 데이터)에 대해 SAINT는 성능 저하 없이 일반화 가능한가?

주요 결과

• 간, 대장, 간 혈관, 신장의 네 가지 CT 데이터셋에서 SAINT는 모든 업샘플링 요소에서 최고의 PSNR 및 SSIM 점수를 기록했으며, ×4에서 34.91/0.9603, ×6에서 32.49/0.9395의 PSNR/SSIM를 기록했다.
• 간 및 간 혈관 데이터셋에서 ×4 업샘플링 시 3D MDSR, mDCSRN, 3D RDN보다 PSNR가 1.2–2.0 dB 높아, 뛰어난 세부 구조 복원 능력을 보였다.
• 시각적 비교에서 SAINT는 구조적 아티팩트가 적고, 특히 척추 및 혈관 수목 같은 복잡한 구조에서 더 풍부한 해부학적 세부 구조를 생성했다.
• 훈련 데이터에 포함되지 않은 신장 데이터셋에서도 SAINT는 뛰어난 성능 유지를 보이며 강력한 일반화 능력을 입증했다.
• 단지 293만 개의 파라미터로도 최신 기술 수준의 성능을 달성하여, 다단계 아키텍처임에도 불구하고 높은 효율성과 확장성을 보였다.
• AMI의 필터 생성 메커니즘은 메타-SR보다 예측 불가능한 업샘플링 요소에서도 더 안정적이었으며, 요소에 따라 달라지는 필터 생성으로 인해 성능 저하를 겪던 메타-SR과는 대비되었다.