[논문 리뷰] CheXseg: Combining Expert Annotations with DNN-generated Saliency Maps for X-ray Segmentation

Soham Gadgil, Mark Endo외 3명|arXiv (Cornell University)|2021. 02. 21.

Advanced X-ray and CT Imaging참고 문헌 28인용 수 7

한 줄 요약

CheXseg는 사전 훈련된 분류 모델에서 생성한 DNN 기반의 색소맵과 방사선 전문의가 제공한 픽셀 수준의 레이블을 결합하여 다중 병변 흉부 X선 영상 분할을 향상시키는 준지도 학습 방법을 제안한다. 고품질 전문가 레이블과 확장 가능한 약한 감독을 융합함으로써 CheXseg는 완전 지도 학습 방법 대비 mIoU 9.7% 향상 및 전문의 수준의 정확도와의 격차를 57.2% 감소시켰다.

ABSTRACT

Medical image segmentation models are typically supervised by expert annotations at the pixel-level, which can be expensive to acquire. In this work, we propose a method that combines the high quality of pixel-level expert annotations with the scale of coarse DNN-generated saliency maps for training multi-label semantic segmentation models. We demonstrate the application of our semi-supervised method, which we call CheXseg, on multi-label chest X-ray interpretation. We find that CheXseg improves upon the performance (mIoU) of fully-supervised methods that use only pixel-level expert annotations by 9.7% and weakly-supervised methods that use only DNN-generated saliency maps by 73.1%. Our best method is able to match radiologist agreement on three out of ten pathologies and reduces the overall performance gap by 57.2% as compared to weakly-supervised methods.

연구 동기 및 목표

• 의료 영상 분할 분야에서 픽셀 수준의 전문가 레이블 확보의 높은 비용과 부족함을 해결한다.
• 항상 신뢰도가 떨어지고 정확도가 떨어지는 경우가 많은 DNN 기반 색소맵에 의존하는 약한 감독 방법의 한계를 극복한다.
• 정밀도가 높은 전문가 레이블과 사전 훈련된 분류 모델에서 유도된 확장 가능한 약한 감독을 효과적으로 융합하는 준지도 학습 프레임워크를 개발한다.
• 특히 흉부 영상에서 흔한 병변인 Atelectasis 및 Pleural Effusion와 같은 다중 병변 해석에서의 분할 성능 향상.
• 특화된 작업을 위한 사전 훈련된 가중치(CheXpert)를 모델 초기화에 사용할 경우, 일반적인 ImageNet 또는 자기지도 학습(MoCo) 가중치 대비 성능 향상이 뚜렷하게 이루어진다는 것을 입증한다.

제안 방법

• CheXpert 데이터셋의 224,316장의 이미지를 사용하여 10종의 흔한 흉부 X선 병변에 대해 다중 병변 분할 작업을 수행한다.
• 사전 훈련된 분류 모델에서 생성한 Grad-CAM++ 색소맵에 IRNet(Inter-pixel Relation Network)를 적용하여 가짜 레이블을 생성한다.
• 150개의 전문가가 레이블링한 픽셀 수준의 레이블과 1,000개의 색소맵 기반 가짜 레이블을 가중치 조합으로 사용하여 DeepLabV3+ 분할 모델을 훈련한다.
• 전문가 레이블과 색소맵 가짜 레이블 간의 균형을 맞추기 위한 샘플링 전략을 적용하며, mIoU 최적화를 위해 전문가 레이블 대비 가짜 레이블 비율이 0.9일 때가 가장 우수한 성능을 보였다.
• 분할 기반 인코더를 동일한 데이터셋과 작업에 대해 사전 훈련된 CheXpert 모델의 가중치로 초기화하여 ImageNet 또는 MoCo-CXR 대비 더 나은 특징 전이 성능을 확보한다.
• 보존된 테스트 세트(500장의 방사선 전문의 레이블링 이미지)에서 10개 병변에 대해 평균 교차율(mIoU)을 사용해 성능을 평가한다.

실험 결과

연구 질문

• RQ1 전문가 레이블과 DNN 기반 색소맵을 융합함으로써 완전 지도 학습 또는 약한 감독 기반 기준 대비 분할 성능 향상이 뚜렷하게 이루어지는가?
• RQ2 인코더 초기화 방법(CheXpert, ImageNet, MoCo-CXR, 무작위) 선택이 준지도 학습 분할 모델의 성능에 미치는 영향은 어떠한가?
• RQ3 mIoU 및 일반화 능력 측면에서 전문가 레이블과 색소맵 가짜 레이블 간의 최적 균형 비율은 무엇인가?
• RQ4 제안된 준지도 학습 방법이 자동 분할 성능과 방사선 전문의 수준의 정확도 간 격차를 어느 정도 감소시키는가?
• RQ5 특화된 작업을 위한 사전 훈련된 가중치(CheXpert)를 사용할 경우, 일반적인 사전 훈련 또는 자기지도 학습 방법 대비 더 뛰어난 분할 성능 향상이 이루어지는가?

주요 결과

• CheXseg는 평균 교차율(mIoU) 0.270을 달성하였으며, 이는 전문가 레이블만을 사용하는 완전 지도 학습 방법의 mIoU 0.246 대비 9.7% 향상된 성능이다.
• CheXseg는 DNN 기반 색소맵만을 사용하는 약한 감독 방법의 mIoU 0.156 대비 전문의 수준의 정확도와의 격차를 57.2% 감소시켰다.
• CheXseg는 Atelectasis(156% 높음), Airspace Opacity(70% 높음), Pleural Effusion(30% 높음)의 세 병변에서 전문가 수준을 초월하는 mIoU 성능을 기록했다.
• CheXpert 인코더 초기화가 가장 높은 성능을 보였으며, ImageNet 및 MoCo-CXR 초기화보다 뛰어나며, 무작위 초기화 대비 일반화 능력 향상에 크게 기여했다.
• IRNet 기반 가짜 레이블링 방법은 CheXpert 초기화와 조합했을 때 표준 Grad-CAM 대비 성능이 뛰어나(mIoU 0.156 vs. 0.142)지만, 다른 초기화 방법과 조합했을 땐 성능이 열 劣하다.
• 최적의 학습 전략은 전문가 레이블 대비 색소맵 가짜 레이블 비율을 0.9로 설정한 것으로, 정확도와 커버리지의 균형을 맞춰 mIoU를 최대화하는 데 기여했다.