[논문 리뷰] Investigation of domain gap problem in several deep-learning-based CT metal artefact reduction methods

Muge Du, Kaichao Liang외 2명|arXiv (Cornell University)|2021. 11. 25.

Advanced X-ray and CT Imaging참고 문헌 31인용 수 4

한 줄 요약

이 연구는 시뮬레이션된 및 실제 치과 및 복부 CT 데이터 세트에서 6개의 최신 기술을 평가하여 딥러닝 기반 CT 금속 유해영상 보정(MAR) 방법에서의 도메인 갭 문제를 조사한다. 주요 발견은 실질적인 복부 데이터에서는 I-DL-MAR와 DudoNet이 유해영상을 효과적으로 줄이지만, 더 도전적인 치과 데이터 세트에서는 어떤 방법도 만족스럽게 성능을 내지 못하며, 이는 치과 CT에서 특히 해결되지 않은 도메인 갭 문제를 시사한다. 이는 유해영상 패atters와 금속 흔적 특성의 불일치로 인한 것이다.

ABSTRACT

Metal artefacts in CT images may disrupt image quality and interfere with diagnosis. Recently many deep-learning-based CT metal artefact reduction (MAR) methods have been proposed. Current deep MAR methods may be troubled with domain gap problem, where methods trained on simulated data cannot perform well on practical data. In this work, we experimentally investigate two image-domain supervised methods, two dual-domain supervised methods and two image-domain unsupervised methods on a dental dataset and a torso dataset, to explore whether domain gap problem exists or is overcome. We find that I-DL-MAR and DudoNet are effective for practical data of the torso dataset, indicating the domain gap problem is solved. However, none of the investigated methods perform satisfactorily on practical data of the dental dataset. Based on the experimental results, we further analyze the causes of domain gap problem for each method and dataset, which may be beneficial for improving existing methods or designing new ones. The findings suggest that the domain gap problem in deep MAR methods remains to be addressed.

연구 동기 및 목표

• 실제 임상 데이터에 적용했을 때 딥러닝 기반 CT 금속 유해영상 보정(MAR) 방법에서 도메인 갭이 존재하는지 조사하는 것.
• 시뮬레이션된 및 실질적인 CT 데이터 세트에서 영상 도메인 지도 학습, 이중 도메인 지도 학습, 영상 도메인 비지도 학습 MAR 방법의 성능을 비교하는 것.
• 다양한 MAR 방법과 데이터 세트에서 도메인 갭의 근본 원인을 규명하여 향후 방법 설계에 도움을 주는 것.
• 비지도 MAR 방법이 쌍화된 실질적인 유해영상 없는 데이터가 없이 도메인 갭을 효과적으로 극복할 수 있는지 평가하는 것.

제안 방법

• 연구는 6개의 딥 MAR 방법을 평가한다: 영상 도메인 지도 학습 2종(I-DL-MAR 및 기준 모델), 이중 도메인 지도 학습 2종(DudoNet 및 DudoNet++), 영상 도메인 비지도 학습 2종(CycleGAN-INT 및 ADN).
• 실험은 두 가지 데이터 세트에서 수행된다: 하나는 치과용, 다른 하나는 복부용이며, 각각 시뮬레이션된 및 실질적인(실제의) 금속 이식물이 있는 CT 데이터를 포함한다.
• 성능 평가는 정량적 지표(예: PSNR, SSIM)와 정성적 시각적 분석을 통해 원천(시뮬레이션된) 도메인과 목표(실제의) 도메인 간에 평가된다.
• 비지도 방법의 경우, 쌍화된 데이터 없이 유해영향을 받은 이미지와 유해영향이 없는 이미지 간의 이미지 간 변환을 학습하기 위해 CycleGAN 기반 및 ADN 프레임워크를 사용한다.
• 도메인 갭 원인 분석을 위해 시뮬레이션된 데이터와 실제 데이터 간의 유해영상 패턴, 금속 흔적 특성, 재구성 불일치를 비교한다.
• 구조적 손실과 진단적 구조 보존은 특히 원본 대비 선형 보간된 입력 데이터를 사용하는 이중 도메인 방법에서의 주요 성능 지표로 평가된다.

실험 결과

연구 질문

• RQ1 시뮬레이션된 데이터에서 실질적인 임상 CT 데이터로의 전이 시 딥러닝 기반 MAR 방법에서 도메인 갭 문제가 지속되는가?
• RQ2 영상 도메인 대비 이중 도메인 아키텍처와 지도 학습 대비 비지도 학습 파라다임이 도메인 갭에 대한 강건성에 어떤 영향을 미치는가?
• RQ3 어떤 방법들은 복부 데이터에서는 작동하지만 치과 CT에서는 실패하는 이유는 무엇이며, 이러한 경우 도메인 이동의 근본 원인은 무엇인가?
• RQ4 CycleGAN-INT 및 ADN과 같은 비지도 MAR 방법이 쌍화된 훈련 데이터 없이 도메인 갭을 효과적으로 제거할 수 있는가?
• RQ5 특정 이미지 수준 및 시노그램 수준의 특성 중에서 MAR 방법에서 도메인 갭에 가장 크게 기여하는 요소는 무엇인가?

주요 결과

• I-DL-MAR와 DudoNet는 실질적인 복부 데이터 세트에서 도메인 갭이 최소화되어 있으며, 시뮬레이션 데이터에서 훈련된 후에도 효과적인 일반화를 보여준다.
• 치과 데이터 세트에서는 모든 지도 학습 방법이 심각한 도메인 갭을 보이며, 시뮬레이션 데이터에서는 뛰어난 성능를 보이지만 실질적인 데이터에서는 성능 저하가 발생한다.
• 선형 보간된 유해영향을 받은 데이터를 입력으로 사용하면 지도 학습 방법의 도메인 갭을 줄일 수 있지만, 재구성된 이미지에 구조적 손실이 발생한다.
• DudoNet++에서 원본 유해영향을 받은 프로젝션을 입력으로 사용할 경우 도메인 갭이 악화되며, 특히 시뮬레이션된 데이터와 실제 데이터 간의 금속 흔적 패턴 불일치와 시노그램 오염이 주요 원인이다.
• 비지도 방법(CycleGAN-INT 및 ADN)은 두 데이터 세트 모두에서 시뮬레이션 및 실질적인 데이터에서 만족스러운 성능를 달성하지 못하며, 불안정성과 낮은 유해영상 감소 성능를 보인다.
• 도메인 갭의 주요 원인은 특히 치과 CT에서 시뮬레이션된 데이터와 실제 데이터 간의 유해영향을 받은 시노그램, 재구성된 이미지, 금속 흔적 특성의 불일치로 규명되었다.