[논문 리뷰] Unsupervised/Semi-supervised Deep Learning for Low-dose CT Enhancement

Mingrui Geng, Yun Deng외 6명|arXiv (Cornell University)|2018. 08. 08.

Medical Imaging Techniques and Applications참고 문헌 27인용 수 12

한 줄 요약

이 논문은 쌍체 고선량 영상이 필요 없이, 라벨이 없는 LdCT 산란도에서 직접 훈련하는 비지도 및 준지도 학습 기반의 딥러닝 프레임워크를 제안한다. 라벨이 없는 데이터의 구조적 사전 지식과 노이즈 통계를 활용하는 최대 사후확률(MAP) 모델을 설정함으로써, 지도 학습 방법과 유사한 성능을 달성하면서도 최소 또는 라벨이 없는 데이터로 훈련이 가능하다.

ABSTRACT

Recently, deep learning(DL) methods have been proposed for the low-dose computed tomography(LdCT) enhancement, and obtain good trade-off between computational efficiency and image quality. Most of them need large number of pre-collected ground-truth/high-dose sinograms with less noise, and train the network in a supervised end-to-end manner. This may bring major limitations on these methods because the number of such low-dose/high-dose training sinogram pairs would affect the network's capability and sometimes the ground-truth sinograms are hard to be obtained in large scale. Since large number of low-dose ones are relatively easy to obtain, it should be critical to make these sources play roles in network training in an unsupervised learning manner. To address this issue, we propose an unsupervised DL method for LdCT enhancement that incorporates unlabeled LdCT sinograms directly into the network training. The proposed method effectively considers the structure characteristics and noise distribution in the measured LdCT sinogram, and then learns the proper gradient of the LdCT sinogram in a pure unsupervised manner. Similar to the labeled ground-truth, the gradient information in an unlabeled LdCT sinogram can be used for sufficient network training. The experiments on the patient data show effectiveness of the proposed method.

연구 동기 및 목표

• 개인정보, 비용, 도메인 편향 등의 이유로 자주 확보되지 않는 대규모 쌍체 저선량/고선량 산란도 데이터셋이 필요로 하는 지도 학습 기반의 LdCT 강화 기술의 한계를 해결한다.
• 데이터에 내재된 구조적 특성과 노이즈 특성을 활용하여, 라벨이 없는 저선량 CT 산란도만으로도 딥 네트워크의 효과적인 훈련을 가능하게 한다.
• 제한된 라벨 데이터와 풍부한 라벨이 없는 데이터를 조합함으로써 준지도 설정으로 확장 가능한 일반화 가능한 비지도 딥러닝 프레임워크를 개발한다.
• 비용이 많이 들거나 확보가 어려운 고선량 기준 데이터에 대한 의존도를 줄이며, LdCT 재구성의 계산 효율성과 영상 품질을 향상시킨다.

제안 방법

• 청결한 CT 산란도에서 유도된 구조적 사전 지식과 측정된 LdCT 산란도에서 유도된 노이즈 통계를 통합한 최대 사후확률(MAP) 목적함수를 설정한다.
• MAP 모델을 이용해 지도 학습이 없는 상황에서도 더 깨끗하고 정확한 재구성으로 향하는 기울기 방향을 유도하는 기반을 마련한다.
• 이 비지도 기울기 학습 기반의 기법을 딥 네트워크에 통합하여, 라벨이 없는 LdCT 산란도만으로도 엔드 투 엔드 훈련이 가능하도록 한다.
• 라벨이 있는 저선량/고선량 쌍체 데이터에서의 지도 학습 손실과 비지도 MAP 기반 손실을 조합하여 프레임워크를 준지도 설정으로 확장한다.
• 하이브리드 목적함수를 사용하여, 라벨이 있는 데이터에는 지도 학습 손실을, 라벨이 없는 데이터에는 모델 기반의 MAP 손실을 적용한다.
• 네트워크를 목표 함수를 최소화하는 최적화기로 활용함으로써, 제한된 훈련 데이터 조건에서도 명시적인 예측 네트워크를 구현할 수 있다.

실험 결과

연구 질문

• RQ1 쌍체 고선량 기준 영상이 필요 없이, 라벨이 없는 저선량 CT 산란도에서 딥러닝을 효과적으로 훈련시킬 수 있는가?
• RQ2 라벨이 없는 LdCT 산란도에 내재된 구조적 사전 지식과 노이즈 통계를 어떻게 모델링하여 비지도 방식으로 네트워크 최적화를 유도할 수 있는가?
• RQ3 비지도 딥러닝 방법이 지도 학습 방법과 유사한 성능을 달성할 수 있는가?
• RQ4 제한된 라벨 데이터와 풍부한 라벨이 없는 데이터를 조합할 경우, 준지도 프레임워크에서 재구성 품질이 어떻게 향상되는가?
• RQ5 제안된 비지도/준지도 프레임워크는 다른 영상 재구성 및 신호 복구 과제로 일반화될 수 있는가?

주요 결과

• 비지도 학습 기반의 unsup-CNN은 10 mAs에서 PSNR 36.72 dB, 20 mAs에서 PSNR 38.49 dB를 기록하며, 라벨이 전혀 없는 조건에서도 지도 학습 기반의 sup-CNN과 동일한 성능을 달성한다.
• 20개의 라벨 쌍과 50개의 라벨이 없는 LdCT 산란도로 훈련된 semi-CNN은 20 mAs에서 PSNR 39.67 dB를 기록하여, 비지도 학습 기반의 unsup-CNN과 FBP를 모두 초월한다.
• 시각적 평가 결과, 비지도 학습 기반의 unsup-CNN은 특히 저선량 조건에서 PWLS 및 MAP-FC보다 더 나은 세부 구조와 해상도 유지 능력을 보였다.
• 단일 LdCT 산란도로만 훈련된 경우에도 높은 성능를 유지함으로써, 제한된 데이터 조건에서도 뛰어난 강건성을 입증하였다.
• 준지도 프레임워크는 비지도 학습 기반의 unsup-CNN(SSIM: 0.9352, FSIM: 0.9378)에 비해 20 mAs에서 더 높은 SSIM(0.9457)과 FSIM(0.9751)을 기록하여, 더 나은 구조적 유지도를 입증하였다.
• 제안된 방법은 최소한의 라벨 데이터로도 효율적이고 명시적인 예측 네트워크를 가능하게 하여, 실제 임상 현장 적용에 적합하다.