[논문 리뷰] DeepLesion: Automated Deep Mining, Categorization and Detection of Significant Radiology Image Findings using Large-Scale Clinical Lesion Annotations

Ke Yan, Xiaosong Wang외 2명|arXiv (Cornell University)|2017. 10. 04.

COVID-19 diagnosis using AI참고 문헌 9인용 수 43

한 줄 요약

이 논문은 33,688개의 레이저 영상과 병변 경계 상자로 구성된 대규모 병리 영상 데이터셋인 DeepLesion을 소개한다. 이 데이터셋을 통해 딥 뉴럴 네트워크를 활용한 자동화된 딥 마이닝, 병변의 5종류(예: 간 종양, 폐 농양)로의 비지도 분류, 다중 클래스 병변 검출이 가능해진다. 이 방법은 가짜 레이블을 사용할 때 64.3%의 검출 정확도를 기록하며 단일 클래스 검출보다 뚜렷이 뛰어나며, 새로운 레이블링 작업 없이도 과거 임상 레이블을 활용해 확장 가능한 다목적 CAD 시스템을 구축할 수 있음을 보여준다.

ABSTRACT

Extracting, harvesting and building large-scale annotated radiological image datasets is a greatly important yet challenging problem. It is also the bottleneck to designing more effective data-hungry computing paradigms (e.g., deep learning) for medical image analysis. Yet, vast amounts of clinical annotations (usually associated with disease image findings and marked using arrows, lines, lesion diameters, segmentation, etc.) have been collected over several decades and stored in hospitals' Picture Archiving and Communication Systems. In this paper, we mine and harvest one major type of clinical annotation data - lesion diameters annotated on bookmarked images - to learn an effective multi-class lesion detector via unsupervised and supervised deep Convolutional Neural Networks (CNN). Our dataset is composed of 33,688 bookmarked radiology images from 10,825 studies of 4,477 unique patients. For every bookmarked image, a bounding box is created to cover the target lesion based on its measured diameters. We categorize the collection of lesions using an unsupervised deep mining scheme to generate clustered pseudo lesion labels. Next, we adopt a regional-CNN method to detect lesions of multiple categories, regardless of missing annotations (normally only one lesion is annotated, despite the presence of multiple co-existing findings). Our integrated mining, categorization and detection framework is validated with promising empirical results, as a scalable, universal or multi-purpose CAD paradigm built upon abundant retrospective medical data. Furthermore, we demonstrate that detection accuracy can be significantly improved by incorporating pseudo lesion labels (e.g., Liver lesion/tumor, Lung nodule/tumor, Abdomen lesions, Chest lymph node and others). This dataset will be made publicly available (under the open science initiative).

연구 동기 및 목표

• 딥 러닝을 위한 병리 영상 분야에서 대규모이고 고품질의 레이블이 부여된 의료 영상 데이터셋이 부족한 문제를 해결하기 위해.
• 단일 질환에 집중하는 것이 아니라, 동시에 여러 병변 유형을 검출할 수 있는 확장 가능한 다목적 CAD 프레임워크를 개발하기 위해.
• PACS 시스템 내에서 미사용되고 있는 임상 레이블(예: 병변 지름, 화살표 등)을 약한 지도 학습의 근거로 활용하여 병변 분류 및 검출에 활용하기 위해.
• 과거 임상 레이블에서 유도된 병변 특징의 비지도 딥 클러스터링이 의미 있는 가짜 레이블을 생성할 수 있으며, 이로 인해 검출 성능 향상이 가능하다는 것을 입증하기 위해.
• 새로운 전문가 레이블링 없이도 기존의 과거 임상 데이터만을 활용하여 유니버설 CAD 시스템을 구축할 수 있는지의 타당성을 검증하기 위해.

제안 방법

• 10,825건의 연구와 4,477명의 환자에서 유래한 33,688개의 북마크된 병리 영상에서 DeepLesion 데이터셋을 구축하였으며, 병변 경계 상자는 측정된 지름에서 유도되었다.
• 의사가 레이블링한 카테고리 없이도 잠재된 병변 유형을 발견하기 위해 반복적인 특징 추출, 클러스터링, CNN 재학습을 포함하는 비지도 딥 마이닝 파이프라인을 적용하였다.
• 단일 영상에 하나의 병변만 레이블링된 경우에도 다중 카테고리에 걸쳐 병변을 동시에 국소화하고 분류할 수 있는 영역 기반 CNN(R-CNN) 프레임워크를 사용하였다.
• 예측된 박스와 진단 박스 간의 IoU > 0.5를 사용하여 검출 정확도를 평가하는 새로운 평가 프로토콜을 도입하였으며, 주요 지표에서는 병변 유형을 고려하지 않았다.
• 두 가지 구성 조건에서 성능을 평가하였다: 단일 클래스 검출(모든 병변을 하나의 비정상 유형으로 간주)과 다중 클래스 검출(클러스터링에서 유도된 가짜 클래스를 사용).
• 학습 과정에 가짜 병변 레이블을 통합하여 일반화 능력과 검출 정확도를 향상시켰으며, 자기 레이블링된 카테고리가 모델 성능 향상에 기여한다는 것을 입증하였다.

실험 결과

연구 질문

• RQ1 과거 임상 레이블에서 유도된 병변 특징의 비지도 딥 클러스터링이 검출 성능 향상에 기여하는 의미 있는 가짜 병변 카테고리를 생성할 수 있는가?
• RQ2 가짜 병변 레이블(예: 간 병변, 폐 농양)을 도입할 경우, 단일 클래스 검출 대비 다중 클래스 병변 검출 모델의 정확도는 얼마나 향상되는가?
• RQ3 PACS 시스템에서 기존에 부분적으로 레이블링된 임상 데이터만을 사용하여 새로운 전문가 레이블링 없이도 확장 가능한 다목적 CAD 시스템을 구축할 수 있는가?
• RQ4 약한 지도 학습을 위한 가짜 레이블을 사용할 경우, 다양한 IoU 임계값에서 딥 러닝 모델의 검출 정확도는 어떻게 변하는가?
• RQ5 단일 영상에 하나의 병변만 레이블링된 경우에도, 단일 딥 러닝 모델이 동시에 여러 병변 유형을 효과적으로 검출할 수 있는가?

주요 결과

• 제안된 다중 클래스 병변 검출기의 테스트 세트에서 비지도 가짜 병변 카테고리를 사용할 경우 검출 정확도가 64.3%에 도달하였으며, 단일 클래스 검출의 경우 59.45%에 그쳤다.
• 가짜 병변 레이블 사용으로 인해 모든 5개 클러스터(간, 폐, Abdomen, 흉부 림프절, 혼합 병변)에서 병변 유형당 3~8%의 정확도 향상이 이루어졌다.
• 폐 농양과 흉부 림프절 검출에서 다른 카테고리보다 뚜렷한 성능 향상을 보였으며, 단일 클래스 검출 대비 3~8%의 정확도 향상이 이루어졌다.
• 512×512 해상도의 영상을 Titan X GPU에서 단 88ms 내에 처리할 수 있어 실시간 추론 가능성을 보였다.
• 다수의 오진 양성은 후속으로 방사선 전문의에 의해 실제 병변으로 확인되었으며, 이는 부분적인 임상 레이블링에서 누락된 임상적으로 중요한 소견을 모델이 탐지하고 있음을 시사한다.
• 다양한 IoU 임계값에서의 검출 정확도 곡선(그림 5a)은 다중 클래스 모델이 일관되게 뛰어난 성능을 보이며, 특히 높은 IoU 임계값에서 두드러진다.