[논문 리뷰] Unsupervised CT Metal Artifact Learning using Attention-guided beta-CycleGAN

Jung-Hyun Lee, Jawook Gu외 1명|arXiv (Cornell University)|2020. 07. 07.

Advanced X-ray and CT Imaging참고 문헌 40인용 수 5

한 줄 요약

이 논문은 최적화 이론에서 유도된 주의 유도형 베타-CycleGAN 프레임워크를 사용하여, 쌍화된 훈련 데이터 없이도 CT 영상에서의 금속 잡음 제거(MAR)를 위한 비지도 학습 방법을 제안한다. 비분리 파rameter β와 컨volution 블록 주의 모듈(CBAM)을 통합함으로써, 모델은 줄무늬와 그림자 잡음 등을 효과적으로 억제하면서도 해부학적 세부 정보를 유지하며, 쌍화된 훈련 데이터 없이도 실재 임상 데이터와 시뮬레이션 데이터에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Metal artifact reduction (MAR) is one of the most important research topics in computed tomography (CT). With the advance of deep learning technology for image reconstruction,various deep learning methods have been also suggested for metal artifact removal, among which supervised learning methods are most popular. However, matched non-metal and metal image pairs are difficult to obtain in real CT acquisition. Recently, a promising unsupervised learning for MAR was proposed using feature disentanglement, but the resulting network architecture is complication and difficult to handle large size clinical images. To address this, here we propose a much simpler and much effective unsupervised MAR method for CT. The proposed method is based on a novel beta-cycleGAN architecture derived from the optimal transport theory for appropriate feature space disentanglement. Another important contribution is to show that attention mechanism is the key element to effectively remove the metal artifacts. Specifically, by adding the convolutional block attention module (CBAM) layers with a proper disentanglement parameter, experimental results confirm that we can get more improved MAR that preserves the detailed texture of the original image.

연구 동기 및 목표

• 쌍화된 실제 비금속 및 금속 영향을 받은 영상이 거의 확보되지 않는 CT 영상에서의 금속 잡음 제거(MAR) 문제를 해결하기 위해.
• 모드 붕괴를 방지하고 국소적 금속 물체에서 발생하는 복잡한 전역 방사형 잡음 처리가 가능한 경량적이고 효과적인 비지도 딥 러닝 방법을 개발하기 위해.
• 최적화 이론에서 유도된 β 파rameter를 활용해, 잡음 생성과 잡음 없는 영상 복원 간의 특징 분리 분리도를 향상시키기 위해.
• CBAM 주의 모듈을 통합하여 표현 학습을 향상시켜, 네트워크가 채널 및 공간 차원에서 주목할 만한 잡음 영역에 집중하도록 유도하기 위해.
• 실제 임상 데이터에서의 방법의 강건성 검증 및 기존 비지도 및 지도 학습 기반 MAR 방법들에 비해 우월성을 입증하기 위해.

제안 방법

• 최적화 이론에서 유도된 새로운 베타-CycleGAN 아키텍처를 활용하며, β는 잡음 없는 영상 복원과 금속 잡음 생성 간 상대적 중요도를 조절한다.
• 생성자 네트워크는 컨volution 블록 주의 모듈(CBAM)을 통합하여, 공간적 및 채널별 특징에 주의를 기울여 특징 맵을 재조정함으로써 잡음 영역의 정밀한 국소화를 향상시킨다.
• 훈련 목표는 실제 금속 영향을 받은 영상과 복원된 잡음 없는 영상 간 사이클 일致성(consistency)을 강제하여, 영상 간 번역이 가역적이고 안정적이도록 보장한다.
• 손실 함수는 적대적 손실, 사이클 일치 손실, 그리고 잡음 없는 영상의 정밀도를 강조하는 β 가중 복원 손실을 조합한다.
• 쌍화된 깨끗한 영상이 필요 없이, 오직 실제 금속 영향을 받은 CT 스캔 데이터만을 사용하여 비지도 방식으로 네트워크를 훈련시킨다.
• 비분리 파rameter β는 정확한 잡음 생성과 고해상도 잡음 없는 영상 복원 간의 트레이드오프를 균형 잡기 위해 조정된다.

실험 결과

연구 질문

• RQ1 쌍화된 실제 훈련 데이터가 없는 비지도 딥 러닝 프레임워크가 CT 영상에서 금속 잡음을 효과적으로 줄일 수 있는가?
• RQ2 CBAM과 같은 주의 메커니즘의 통합이 CT 영상에서 금속 잡음의 국소화 및 억제에 어떤 영향을 미치는가?
• RQ3 비분리 파rameter β가 베타-CycleGAN 프레임워크에서 잡음 제거의 품질과 안정성에 미치는 영향은 무엇인가?
• RQ4 제안된 방법이 기존 비지도 MAR 방법들보다 더 나은 세부 해부학적 질감과 구조를 유지하는가?
• RQ5 실제 임상 CT 스캔에 대해, 합성 또는 시뮬레이션 데이터만으로 훈련된 모델이 얼마나 잘 일반화되는가?

주요 결과

• 제안된 주의 유도형 베타-CycleGAN은 베이스라인 CycleGAN 및 기타 비지도 방법들에 비해 뛰어난 금속 잡음 제거 성능을 보였으며, 시각적 품질 향상과 구조적 유지 측면에서 뚜렷한 향상이 있었다.
• CBAM의 통합으로 배경 영역에서 잔류 잡음이著격하게 감소했고, 금속 식별물의 잘못된 제거를 방지했다.
• 비분리 파rameter β를 1에서 10으로 증가시킴으로써 잡음 억제가 크게 향상되어, β가 잡음 없는 영상 복원 강조에 기여하는 역할을 함을 입증했다.
• 모델은 금속 원천에서 멀리 떨어진 영역에서도 세밀한 해부학적 질감과 세부 정보를 잘 유지했으며, 이는 효과적인 전역 잡음 처리를 의미한다.
• 비잡음 영상에 대해서도 모델은 강건성을 보였으며, 금속이 없는 스캔에 적용했을 때 이미지 품질 저하가 최소한이었다.
• 제거 실험(ablation study) 결과, β와 CBAM 둘 다 필수적인 구성 요소임을 확인했으며, 둘 중 하나를 제거하면 잡음 제거 성능과 이미지 정밀도에 뚜렷한 성능 저하가 발생했다.