[논문 리뷰] Learning Bone Suppression from Dual Energy Chest X-rays using Adversarial Networks

Dong Yul Oh, Il Dong Yun|arXiv (Cornell University)|2018. 11. 05.

Medical Imaging Techniques and Applications참고 문헌 27인용 수 14

한 줄 요약

이 논문은 단일 에너지 영상에서 뼈 억제 흉부 X-ray를 예측하기 위해 조건부 생성 적대적 네트워크(cGAN)와 허르 2D 웨이블릿 분해를 결합한 딥 생성 모델을 제안한다. 이는 이중 에너지 X-ray의 제한된 데이터셋으로 훈련된다. 이 방법은 이미지의 선명도를 위해 적대적 훈련을, 더 빠르고 정확한 수렴을 위해 주파수 기반 가이드를 결합함으로써 기존 방법보다 뛰어난 성능을 달성한다.

ABSTRACT

Suppressing bones on chest X-rays such as ribs and clavicle is often expected to improve pathologies classification. These bones can interfere with a broad range of diagnostic tasks on pulmonary disease except for musculoskeletal system. Current conventional method for acquisition of bone suppressed X-rays is dual energy imaging, which captures two radiographs at a very short interval with different energy levels; however, the patient is exposed to radiation twice and the artifacts arise due to heartbeats between two shots. In this paper, we introduce a deep generative model trained to predict bone suppressed images on single energy chest X-rays, analyzing a finite set of previously acquired dual energy chest X-rays. Since the relatively small amount of data is available, such approach relies on the methodology maximizing the data utilization. Here we integrate the following two approaches. First, we use a conditional generative adversarial network that complements the traditional regression method minimizing the pairwise image difference. Second, we use Haar 2D wavelet decomposition to offer a perceptual guideline in frequency details to allow the model to converge quickly and efficiently. As a result, we achieve state-of-the-art performance on bone suppression as compared to the existing approaches with dual energy chest X-rays.

연구 동기 및 목표

• 이중 에너지 감마 감쇠(DES)의 임상적 한계, 즉 방사선 노출이 두 배로 증가하고 심장 박동으로 인한 운동 아티팩트가 발생하는 문제를 해결하기 위해.
• 이전에 확보한 이중 에너지 스캔의 유한한 집합만을 사용하여 단일 에너지 흉부 X-ray에서 뼈 억제 영상을 예측하는 딥 러닝 모델을 개발하기 위해.
• 병변 세부 사항을 유지하기 위해 픽셀 단위의 손실 최소화를 대체하여 적대적 훈련을 도입함으로써 뼈 억제의 영상 품질을 향상시키기 위해.
• 허르 2D 웨이블릿 분해를 주파수 도메인의 지각 가이드로 통합하여 모델 수렴 속도를 가속화하고 지각 품질을 향상시키기 위해.
• 기존 방법보다 뛰어난 성능을 보이는 새로운 데이터 효율적인 딥 생성 프레임워크를 구축하기 위해.

제안 방법

• 단일 에너지 흉부 X-ray에서 뼈 억제 영상으로의 매핑을 학습하기 위해 조건부 생성 적대적 네트워크(cGAN)를 사용하며, 기존의 회귀 방법 대신 적대적 손실을 도입한다.
• 입력 영상의 허르 2D 웨이블릿 분해를 통해 주파수 도메인 가이드를 제공하여 생성자(generator)가 고주파 뼈 구조를 학습하고 수렴을 향상시키도록 돕는다.
• 웨이블릿 계수를 기반으로 한 지각 손실을 적용하여 생성자가 미세한 해부학적 세부 사항을 유지하면서도 뼈를 억제하도록 유도한다.
• 생성자가 적대적 손실(판별자에 속이기)을 최소화하면서도 웨이블릿 변환 특징에 대해 픽셀 단위의 재구성 손실(L1)을 동시에 최소화하도록 훈련한다.
• 실제로 뼈 억제 영상(DES에서 유래)과 생성된 영상 간을 구분하는 판별자를 사용하여, 현실적인 질감과 구조를 유도한다.
• 생성된 영상과 원본 영상 간의 히스토그램 매칭을 통해 일관된 밝기 분포를 유지하여 시각적 일관성을 확보한다.

실험 결과

연구 질문

• RQ1 제한된 데이터 환경에서 표준 픽셀 단위의 회귀 대비 적대적 훈련이 뼈 억제 품질을 향상시킬 수 있는가?
• RQ2 허르 2D 웨이블릿 분해를 지각 사전으로 통합함으로써 뼈 억제 모델의 수렴 속도와 정밀도가 향상되는가?
• RQ3 제한된 이중 에너지 X-ray 쌍으로 훈련된 딥 생성 모델이 단일 에너지 입력에 대해 잘 일반화되어 기존 방법보다 뛰어난 성능을 낼 수 있는가?
• RQ4 적대적 훈련과 웨이블릿 기반 가이드의 조합이 병변 특징 보존과 이미지 선명도에 어떤 영향을 미치는가?
• RQ5 이중 에너지 감마 감쇠 대비 아티팩트 감소와 방사선 노출 감소를 통해 제안된 방법이 임상적으로 실현 가능한가?

주요 결과

• 제안된 방법은 정량적 지표와 시각적 품질 측면에서 모두 최신 기술 수준(SOTA)의 뼈 억제 성능을 달성한다.
• 절단 실험을 통해 cGAN과 허르 웨이블릿 분해를 조합한 것이 최고의 성능을 내며, CNN + GAN + Haar 구성(본 연구)이 CNN 단독 및 GAN 단독 변종보다 유의미하게 뛰어나다.
• 적대적 훈련만으로도 표준 L1 기반의 회귀 대비 선명도를 향상시키고 뿌연 현상을 줄일 수 있으나, 웨이블릿 가이드와 조합할 경우 성능이 더욱 향상된다.
• 허르 웨이블릿 분해를 사용함으로써 훈련 시간을 단축하고 수렴 속도를 향상시켜, 특히 적대적 손실과 조합했을 때 효과가 뚜렷하다.
• 모델은 갈비뼈와 경추를 효과적으로 억제하면서도 연조직 구조와 병변 특징을 잘 유지함을 DES 기준값과의 시각적 및 정량적 비교를 통해 검증하였다.
• 이중 에너지 영상에서 흔히 발생하는 운동 아티팩트를 줄이기 위해 단일 촬영으로부터 뼈 억제 영상을 생성함으로써 효과적으로 해결하였다.