[논문 리뷰] Unsupervised Learnable Sinogram Inpainting Network (SIN) for Limited Angle CT reconstruction
이 논문은 쌍체의 훈련 데이터가 필요 없이, sinogram 복원과 이미지 재구성의 공동 최적화를 가능하게 하는 유사한 Radon/역-Radon 변환기를 사용하는 비지도 학습 가능한 sinogram 복원 네트워크(SIN)를 제안한다. 이는 한정된 입사각 CT 재구성에서 고정밀도를 달성한다. 이 방법은 폐 CT 데이터에서 PSNR(33.86 dB)와 SSIM(0.9781)로 최신 기술 수준(SOTA) 성능을 달성하였으며, 256×256 이미지당 추론 시간은 0.3초 이내이다.
In this paper, we propose a sinogram inpainting network (SIN) to solve limited-angle CT reconstruction problem, which is a very challenging ill-posed issue and of great interest for several clinical applications. A common approach to the problem is an iterative reconstruction algorithm with regularization term, which can suppress artifacts and improve image quality, but requires high computational cost. The starting point of this paper is the proof of inpainting function for limited-angle sinogram is continuous, which can be approached by neural networks in a data-driven method, granted by the universal approximation theorem. Based on this, we propose SIN as the fitting function -- a convolutional neural network trained to generate missing sinogram data conditioned on scanned data. Besides CNN module, we design two differentiable and rapid modules, Radon and Inverse Radon Transformer network, to encapsulate the physical model in the training procedure. They enable new joint loss functions to optimize both sinogram and reconstructed image in sync, which improved the image quality significantly. To tackle the labeled data bottleneck in clinical research, we form a sinogram-image-sinogram closed loop, and the difference between sinograms can be used as training loss. In this way, the proposed network can be self-trained, with only limited-angle data for unsupervised domain adaptation. We demonstrate the performance of our proposed network on parallel beam X-ray CT in lung CT datasets from Data Science Bowl 2017 and the ability of unsupervised transfer learning in Zubal's phantom. The proposed method performs better than state-of-art method SART-TV in PSNR and SSIM metrics, with noticeable visual improvements in reconstructions.
연구 동기 및 목표
- 데이터 부족으로 인해 심한 스트라이프 아티팩트가 발생하는 한정된 입사각 CT 재구성 문제를 해결한다.
- SART-TV와 같은 전통적인 반복적 방법의 한계를 극복한다. 이는 계산 비용이 높고 만화 스타일의 아티팩트를 유발한다.
- 임상 CT 적용에서 레이블이 붙은 데이터의 부족 문제를 완화하기 위해 비지도 훈련이 가능한 딥 러닝 프레임워크를 개발한다.
- 물리적 제약 조건(Radon 변환)을 학습 가능한, 미분 가능한 아키텍처에 통합하여 엔드 투 엔드 훈련 중 데이터 무결성을 보장한다.
- sinogram과 이미지 공간 간의 교차 도메인 오차 역전파를 가능하게 하여 재구성 정확도와 일관성을 향상시킨다.
제안 방법
- 부분적으로만 제공된 투사 데이터에서 누락된 sinogram 영역을 예측할 수 있도록 훈련된 U-Net 기반의 CNN인 sinogram 복원 네트워크(SIN)를 제안한다.
- 물리적 투사 모델을 네트워크에 통합하기 위해, 미분 가능한 Radon 및 역-Radon 변환 모듈을 도입한다. 이는 미분 가능한 정방향 및 역방향 투사 기능을 제공한다.
- 데이터 무결성을 강제로 유지하면서 sinogram 복원과 재구성된 이미지 품질을 동시에 최적화하는 공동 손실 함수를 설계한다.
- 재구성된 sinogram과 원본 sinogram 간의 차이를 손실 신호로 사용하여, 재구성된 이미지-복원된 sinogram-재구성된 이미지의 폐쇄형 루프 훈련 전략을 구현한다.
- 쌍체의 참조 데이터가 필요 없이, 한정된 입사각 sinogram만을 사용하여 약한 지도 학습 방식으로 네트워크를 훈련시킨다.
- 신경망이 연속적인 복원 함수를 학습할 수 있음을 보장하기 위해 보편 근사 정리(universal approximation theorem)를 활용한다.
실험 결과
연구 질문
- RQ1딥 뉴럴 네트워크는 구조적 무결성을 유지하면서도, 한정된 입사각 sinogram의 큰 영역을 효과적으로 복원할 수 있는가?
- RQ2물리적 제약 조건(Radon 변환)을 어떻게 미분 가능한 딥 러닝 아키텍처에 통합하여 재구성 정확도와 데이터 일관성을 향상시킬 수 있는가?
- RQ3자기 지도 훈련 프레임워크는 한정된 입사각 CT 재구성에서 쌍체의 레이블이 붙은 데이터가 필요 없이 작동할 수 있는가?
- RQ4미분 가능한 투사/역투사 기반으로 sinogram과 이미지 도메인을 공동 최적화하면, 기존 방법보다 더 나은 아티팩트 억제 효과를 낼 수 있는가?
- RQ5제안된 방법은 미세조정 없이도 해부학적 구조(예: 폐 vs. 펌프) 간에 일반화 가능한가? 이는 강력한 비지도 도메인 적응 능력을 보여주는가?
주요 결과
- 제안된 SIN 방법은 Data Science Bowl 2017 폐 CT 데이터셋에서 PSNR 33.86 dB, SSIM 0.9781을 달성하였으며, SART-TV(25.23 dB, 0.9088)보다 뚜렷이 뛰어난 성능을 보였다.
- Zubal의 펌프 데이터셋에서 PSNR 36.33 dB, SSIM 0.9838을 기록하여 강력한 일반화 능력과 비지도 적응 능력을 입증하였다.
- SART-TV가 총변동성 정규화로 인해 조각난 평면 스타일의 만화 아티팩트를 유발하는 데 비해, 네트워크는 스트라이프 아티팩트를 더 효과적으로 감소시켰다.
- 재구성 시간은 256×256 이미지당 0.3초 이내로, SART-TV와 같은 반복적 방법보다 훨씬 빠르게 작동한다.
- Zubal의 펌프에서 비지도 미세조정을 통해 과적합 아티팩트가 감소하고 이미지 경계가 더 선명해졌으며, 이미지 품질에 변화가 없었다.
- 자기 지도 폐쇄형 루프 훈련 전략을 통해 한정된 입사각 sinogram만으로도 효과적인 모델 적응이 가능했으며, 임상 CT에서의 비지도 도메인 적응 가능성을 검증하였다.
더 나은 연구,지금 바로 시작하세요
논문 읽기부터 검토까지, 연구 시간을 획기적으로 줄여보세요.
카드 등록 없음 · 무료 플랜 제공
이 리뷰는 AI가 만들고, 인간 에디터가 검토했습니다.