[논문 리뷰] Universal Lesion Detection by Learning from Multiple Heterogeneously Labeled Datasets

Ke Yan, Jinzheng Cai외 4명|arXiv (Cornell University)|2020. 05. 28.

COVID-19 diagnosis using AI참고 문헌 44인용 수 7

한 줄 요약

이 논문은 DeepLesion, LUNA, LiTS, NIH-LN 등의 이질적이고 부분적으로 레이블이 붙은 데이터셋을 활용하여 보편적 병변 검출(ULD)을 위한 다중 전문가 병변 검출기(MELD)를 제안한다. 레이블 누락 복구를 위한 임베딩 매칭과 단일 유형 검출기로부터의 지식 전이를 위한 음성 영역 마이닝을 통합함으로써, 기존 최고 수준의 접근 방식 대비 평균 민감도에서 29% 향상된 성능을 달성한다.

ABSTRACT

Lesion detection is an important problem within medical imaging analysis. Most previous work focuses on detecting and segmenting a specialized category of lesions (e.g., lung nodules). However, in clinical practice, radiologists are responsible for finding all possible types of anomalies. The task of universal lesion detection (ULD) was proposed to address this challenge by detecting a large variety of lesions from the whole body. There are multiple heterogeneously labeled datasets with varying label completeness: DeepLesion, the largest dataset of 32,735 annotated lesions of various types, but with even more missing annotation instances; and several fully-labeled single-type lesion datasets, such as LUNA for lung nodules and LiTS for liver tumors. In this work, we propose a novel framework to leverage all these datasets together to improve the performance of ULD. First, we learn a multi-head multi-task lesion detector using all datasets and generate lesion proposals on DeepLesion. Second, missing annotations in DeepLesion are retrieved by a new method of embedding matching that exploits clinical prior knowledge. Last, we discover suspicious but unannotated lesions using knowledge transfer from single-type lesion detectors. In this way, reliable positive and negative regions are obtained from partially-labeled and unlabeled images, which are effectively utilized to train ULD. To assess the clinically realistic protocol of 3D volumetric ULD, we fully annotated 1071 CT sub-volumes in DeepLesion. Our method outperforms the current state-of-the-art approach by 29% in the metric of average sensitivity.

연구 동기 및 목표

• 임상 영상의학에서 다양한 병변을 전신에 걸쳐 식별해야 하는 보편적 병변 검출(ULD)의 과제를 해결한다.
• 단일 병변 유형에 집중하는 기존 병변 검출 모델의 한계를 극복하여 효율성과 확장성을 높인다.
• 레이블 완전성에 차이가 나는 이질적 데이터셋—예: 부분적으로 레이블이 붙은 DeepLesion, 완전히 레이블이 붙은 LUNA, LiTS, NIH-LN—을 활용하여 ULD 성능을 향상시킨다.
• 불완전하고 다형성 있는 레이블을 효과적으로 활용하여 강건하고 일반화 능력이 뛰어난 ULD 모델을 훈련할 수 있는 통합 프레임워크를 개발한다.

제안 방법

• 다양한 이질적 데이터셋을 기반으로 다중 작업 학습을 통해 기관별 전용 헤드 브랜치를 갖춘 다중 전문가 병변 검출기(MELD)를 훈련한다.
• MELD를 사용해 DeepLesion에서 병변 제안을 생성하며, 이때 MELD는 각 헤드가 특정 병변 유형이나 기관에 특화된 다중 전문가 시스템으로 기능한다.
• 병변 임베딩을 활용한 누락 레이블 매칭(MAM)을 적용하여 제안된 임베딩를 레이블이 붙은 병변과 매칭함으로써 누락된 진짜 병변을 식별하고 복원한다.
• 단일 유형 병변 검출기로부터의 지식 전이를 통해 음성 영역 마이닝(NRM)을 수행하여, 레이블이 없지만 의심스러운 영역를 신뢰할 수 있는 음성 샘플로 식별한다.
• 복원된 양성 및 음성 영역를 사용해 MELD를 미세 조정함으로써, 임의의 음성 신호를 유도하지 않고도 검출 성능을 향상시킨다.
• 방향 표준화, HU 윈도잉, 등방성 리샘플링 및 데이터 증강을 포함한 통합 전처리 파이프라인을 사용하여 데이터셋 간 일관성을 확보한다.

실험 결과

연구 질문

• RQ1 레이블 완전성에 차이가 나는 이질적 데이터셋에서 학습하는 데 효과적인 단일 보편적 병변 검출 모델을 개발할 수 있는가?
• RQ2 DeepLesion과 같은 대규모 부분적으로 레이블이 붙은 데이터셋에서 레이블 누락을 전체 영상학적 재레이블링 없이 신뢰성 있게 복원할 수 있는가?
• RQ3 LUNA, LiTS 등 완전히 레이블이 붙은 단일 유형 병변 데이터셋에서의 지식을 보편적 병변 검출에 얼마나 효과적으로 전이할 수 있는가?
• RQ4 누락된 양성 샘플과 신뢰할 수 있는 음성 샘플을 모두 통합할 경우, 불완전한 데이터로 표준 훈련을 수행하는 것보다 검출 성능 향상이著명한가?

주요 결과

• 제안된 방법은 3D 부피 기반 ULD 벤치마크에서 현재 최고 수준의 방법 대비 평균 민감도에서 29% 향상된 성능을 달성한다.
• 유사한 재현율 수준에서 위양성 수를 50% 감소시켰으며, 2개의 부피당 2개의 위양성(기준 대비 4개)으로 50% 재현율을 달성한다.
• 음성 영역 마이닝은 마이닝된 영역를 진짜 병변으로 간주하는 것보다 우수한 성능을 보이며, 이는 전이된 지식의 노이즈와 개념 이동 때문일 수 있다.
• LesaNet 임베딩 기반의 임베딩 매칭을 통해 높은 임상적 관련성으로 누락된 병변을 성공적으로 복원하여 양성 샘플 커버리지가 향상된다.
• 다중 전문가 병변 검출기(MELD)는 병변 유형과 기관 간에 효과적으로 일반화되며, 림프절, 폐, 간에서 강력한 성능을 보인다. 이는 가장 흔한 병변 발생 부위들이다.
• 새로운 헤드 브랜치와 관련 데이터셋을 추가함으로써, 신장 또는 췌장 종양과 같은 추가 기관 및 병변 유형으로도 확장 가능한 프레임워크이다.