[논문 리뷰] Deep Lesion Graphs in the Wild: Relationship Learning and Organization of Significant Radiology Image Findings in a Diverse Large-scale Lesion Database

Ke Yan, Xiaosong Wang외 5명|arXiv (Cornell University)|2017. 11. 28.

AI in cancer detection인용 수 17

한 줄 요약

이 논문은 4,427명의 환자에서 유래한 32,120개의 병변을 포함하는 대규모이고 다양한 CT 병변 데이터셋인 DeepLesion을 소개하고, 유형, 위치, 크기 정보를 활용하여 병변 임bedding을 학습하기 위한 약한 지도 학습 기반 딥러닝 프레임워크를 제안한다. 순차적 샘플링과 자기지도적 신체부위 회귀를 활용한 트리플릿 네트워크를 통해, 명시적 애너테이션 없이도 의미적으로 유사한 병변을 탐지할 수 있는 콘텐츠 기반 병변 검색 및 환자 내 병변 매칭에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Radiologists in their daily work routinely find and annotate significant abnormalities on a large number of radiology images. Such abnormalities, or lesions, have collected over years and stored in hospitals' picture archiving and communication systems. However, they are basically unsorted and lack semantic annotations like type and location. In this paper, we aim to organize and explore them by learning a deep feature representation for each lesion. A large-scale and comprehensive dataset, DeepLesion, is introduced for this task. DeepLesion contains bounding boxes and size measurements of over 32K lesions. To model their similarity relationship, we leverage multiple supervision information including types, self-supervised location coordinates and sizes. They require little manual annotation effort but describe useful attributes of the lesions. Then, a triplet network is utilized to learn lesion embeddings with a sequential sampling strategy to depict their hierarchical similarity structure. Experiments show promising qualitative and quantitative results on lesion retrieval, clustering, and classification. The learned embeddings can be further employed to build a lesion graph for various clinically useful applications. We propose algorithms for intra-patient lesion matching and missing annotation mining. Experimental results validate their effectiveness.

연구 동기 및 목표

• 병원 PACS 시스템에서의 의미 없는 애너테이션이 없는 비정형적이고 대규모의 방사선 병변 데이터를 체계화하고 탐색하기 위해.
• 임상 워크플로우에서 존재하는 방사선학적 표기(유형, 크기, 위치)를 약한 지도 학습으로 활용하여 수동 애너테이션의 부담을 줄이기 위해.
• 병변 유형, 해부학적 위치, 크기 간의 계층적 유사성을 유지하는 의미 있는 병변 임bedding을 학습하기 위해.
• 환자 간 콘텐츠 기반 병변 검색과 장기적인 질환 추적을 위한 환자 내 병변 매칭을 가능하게 하기 위해.
• 자기지도적 및 약한 지도 학습 표현을 기반으로 임베딩을 활용한 병변 그래프를 구축하여 임상 적용을 위해.

제안 방법

• PACS에서 데이터를 수집하여 10,594건의 연구와 4,427명의 환자에서 유래한 32,120개의 축방향 CT 슬라이스를 포함하는 DeepLesion 데이터셋을 구축한다. 이는 병변의 바운딩 박스와 크기 측정치를 포함한다.
• 소규모 시드 샘플에서 유래한 병변 유형 레이블을 전체 데이터셋으로 전파하기 위해 가짜 레이블링을 활용한다.
• 레이블이 없는 CT 볼륨을 사용하여 애너테이션이 없는 3차원 상대적 신체부위 위치(z좌표)를 예측하는 자기지도적 신체부위 회귀기(SSBR)를 구현한다.
• 병변 유형, 자기지도적 위치, 측정된 크기의 계층적 조합을 사용하여 유사도를 정의한다.
• 유형, 위치, 크기의 병합된 유사성을 반영하는 병변 임베딩을 학습하기 위해 순차적 샘플링 전략을 적용한 트리플릿 네트워크를 훈련한다.
• 병변의 세부 사항과 맥락을 모두 포착하기 위해 다중 스케일, 다중 코너 카메라 아키텍처를 적용하고, 노이즈가 있는 가짜 레이블을 향상시키기 위해 반복적 개선 기법을 사용한다.

실험 결과

연구 질문

• RQ1 일상적인 방사선학적 표기(유형, 크기, 위치)를 약한 지도 학습으로 효과적으로 활용하여 광범위한 수동 애너테이션 없이 의미 있는 병변 임베딩을 학습할 수 있는가?
• RQ2 딥 임베딩 모델이 병변 유형, 해부학적 위치, 크기 간의 계층적 유사성을 학습하여 콘텐츠 기반 병변 검색을 지원할 수 있는가?
• RQ3 학습된 임베딩이 병변의 진행 상황 추적을 위한 다수의 CT 연구 간 환자 내 병변 매칭을 정확하게 수행할 수 있는가?
• RQ4 학습 데이터에서 명시적으로 레이블이 지정되지 않은 다른 신체 구조에서 의미적으로 유사한 병변을 탐지할 수 있는가?
• RQ5 레이블이 없는 CT 볼륨에서 해부학적 위치를 추정하는 데 있어 자기지도적 신체부위 회귀기의 효과는 어떠한가?

주요 결과

• 자기지도적 신체부위 회귀기(SSBR)는 18,195개의 레이블이 없는 슬라이스로 구성된 테스트 세트에서 95.99%의 분류 정확도를 달성했으며, 주로 애매한 해부학적 경계에서 오류가 발생했다.
• 학습된 임베딩을 활용한 콘텐츠 기반 병변 검색은 유형, 위치, 크기가 유사한 병변을 성공적으로 검색했으며, 애너테이션이 없이도 의미적으로 유사한 다른 신체 구조의 병변도 탐지했다.
• 이 방법은 환자 내 병변 매칭에서 뛰어난 성능을 보였으며, 병변 그래프와 제안된 알고리즘을 사용하여 병변의 순서를 다수의 CT 연구 간에 정확히 재구성했다.
• 순차적 샘플링을 적용한 트리플릿 네트워크는 계층적 유사성을 유지하는 임베딩을 학습하여 병변의 효과적인 군집화 및 분류를 가능하게 했다.
• 이 프레임워크는 병변 검색, 군집화, 분류 분야에서 유의미한 정량적·정성적 결과를 달성했으며, 실패 케이스의 주요 원인은 병변 유형의 잘못된 분류였다.
• 임베딩에서 유도된 병변 그래프는 장기적 병변 추적 및 케이스 기반 추론과 같은 임상적으로 유용한 응용을 가능하게 했다.