[논문 리뷰] DuDoNet: Dual Domain Network for CT Metal Artifact Reduction

Wei-An Lin, Haofu Liao외 6명|arXiv (Cornell University)|2019. 06. 29.

Advanced X-ray and CT Imaging참고 문헌 33인용 수 21

한 줄 요약

DuDoNet은 CT 영상의 향상과 산란도 복원을 동시에 수행하여 임플란트로 인한 금속 아티팩트를 줄이는 엔드 투 엔드 이중도메인 딥 러닝 프레임워크이다. 기울기 역전파를 영상 도메인에서 산란도 도메인으로 가능하게 하는 가분리 가능한 라돈 역행렬층(Radon inversion layer, RIL)과 라돈 일관성 손실을 도입함으로써, 2차 아티팩트를 크게 감소시키고 단일 도메인 방법보다 아티팩트 억제 및 세부 구조 복원에서 뛰어난 성능을 발휘한다.

ABSTRACT

Computed tomography (CT) is an imaging modality widely used for medical diagnosis and treatment. CT images are often corrupted by undesirable artifacts when metallic implants are carried by patients, which creates the problem of metal artifact reduction (MAR). Existing methods for reducing the artifacts due to metallic implants are inadequate for two main reasons. First, metal artifacts are structured and non-local so that simple image domain enhancement approaches would not suffice. Second, the MAR approaches which attempt to reduce metal artifacts in the X-ray projection (sinogram) domain inevitably lead to severe secondary artifact due to sinogram inconsistency. To overcome these difficulties, we propose an end-to-end trainable Dual Domain Network (DuDoNet) to simultaneously restore sinogram consistency and enhance CT images. The linkage between the sigogram and image domains is a novel Radon inversion layer that allows the gradients to back-propagate from the image domain to the sinogram domain during training. Extensive experiments show that our method achieves significant improvements over other single domain MAR approaches. To the best of our knowledge, it is the first end-to-end dual-domain network for MAR.

연구 동기 및 목표

• 단일 도메인 접근 방식의 한계를 해결하여 CT 영상에서 구조적이고 국소적이지 않은 금속 아티팩트를 효과적으로 감소시키기.
• 기존 산란도 도메인 보정 방법에서 산란도 일관성 부족으로 인한 2차 아티팩트 문제를 해결하기.
• 영상과 산란도 복원을 동시에 최적화할 수 있도록 도메인 간 기울기 흐름을 제공하는 엔드 투 엔드 훈련을 가능하게 하기.
• 다양한 크기의 마스크 정보를 산란도 개선 네트워크에 유지시켜 소형 금속 임플란트에 대한 성능을 향상시키기.
• 쌍체 금속 없는 스캔이 필요 없이, 오직 금속 없는 산란도, CT 영상 및 금속 마스크만으로도 일반화 가능하고 실용적인 프레임워크 개발하기.

제안 방법

• 네트워크는 산란도 향상 네트워크(SE-Net), 라돈 역행렬층(RIL), 영상 향상 네트워크(IE-Net)의 세 구성 요소로 구성된다.
• SE-Net은 다중 척도에서 세밀한 금속 마스크 정보를 유지하는 마스크 피라미드 U-Net 아키텍처를 활용하여 소형 임플란트에서의 성능을 향상시킨다.
• RIL은 가분리 가능한 필터링된 역백프로젝션을 가능하게 하여, 훈련 중 영상 도메인에서 산란도 도메인으로 기울기가 흐르도록 한다.
• 라돈 일관성(RC) 손실이 도입되어, 영상 도메인 감독 정보를 활용하고 RIL를 통해 기울기를 역전파함으로써 2차 아티팩트를 억제한다.
• IE-Net은 잔여 학습을 수행하여 최종 CT 영상을 정밀하게 개선하고, 구조적 세부 정보를 강화하며 잔여 아티팩트를 감소시킨다.
• 이 프레임워크는 금속 없는 산란도, 해당하는 CT 영상 및 금속 추적 마스크만을 사용하여 엔드 투 엔드로 훈련되며, 쌍체 금속 없는 스캔이 필요 없도록 한다.

(a) CT with metal artifacts

실험 결과

연구 질문

• RQ1 산란도 및 영상 도메인에서의 공동 최적화가 단일 도메인 방법보다 금속 아티팩트 감소에 뛰어난 성능을 발휘할 수 있는가?
• RQ2 영상 도메인에서 산란도 도메인으로 효과적으로 기울기 흐름을 확립하여 물리적 일관성을 강화할 수 있는가?
• RQ3 다중 척도 마스크 피라미드 아키텍처가 소형 금속 임플란트의 산란도 개선에 기여하는가?
• RQ4 가분리 가능한 라돈 역행렬층이 CT 재구성에 대한 이중도메인 네트워크의 엔드 투 엔드 훈련을 얼마나 효과적으로 가능하게 하는가?
• RQ5 기본값 산란도가 없는 상황에서 라돈 일관성 손실이 2차 아티팩트를 효과적으로 억제할 수 있는가?

주요 결과

• DuDoNet은 실제 환자 CT 스캔에서 금속 아티팩트 감소 측면에서 최신 기술 수준의 성능을 달성하였으며, CNNMAR 및 cGAN-CT와 같은 단일 도메인 방법보다 뚜렷이 뛰어난 성능을 보였다.
• 실제 데이터의 시각적 비교를 통해 줄무늬 아티팩트와 그림자 아티팩트를 효과적으로 감소시키면서도 세밀한 해부학적 세부 정보를 유지하는 것으로 확인되었다.
• SE-Net에 마스크 피라미드 U-Net을 사용함으로써, 기존 네트워크가 비현저한 구조적 정보를 상실하기 쉬운 소형 금속 임플란트에 있어서 성능 향상이 이루어졌다.
• 라돈 일관성 손실은 영상 도메인 감독 정보를 활용하고 RIL를 통해 기울기를 역전파함으로써 2차 아티팩트를 성공적으로 억제하였다.
• DuDoNet은 훈련에 쌍체 금속 없는 스캔이 필요 없으며, 오직 금속 없는 산란도, CT 영상 및 금속 마스크만으로도 작동하여 실용성과 적용 가능성을 높였다.
• 수백 건의 환자 스캔에 대한 광범위한 평가를 통해 이중도메인 접근이 기존 방법보다 더 일관되고 진단적으로 신뢰할 수 있는 CT 영상을 제공하는 것으로 확인되었다.

(b) RDN 3 3 3 The residual dense network (RDN) proposed in [ 32 ] without up-scaling layers. [ 32 ]