[논문 리뷰] Harvesting, Detecting, and Characterizing Liver Lesions from Large-scale Multi-phase CT Data via Deep Dynamic Texture Learning

Yuankai Huo, Jinzheng Cai외 8명|arXiv (Cornell University)|2020. 06. 28.

Radiomics and Machine Learning in Medical Imaging참고 문헌 58인용 수 9

한 줄 요약

이 논문은 3D 비등방성 앵커리스 검출과 공간적으로 적응형 딥 텍스처(SaDT) 학습을 사용하여 다단계 자동화 프레임워크를 제안한다. 이는 다단계 CT에서 간 병변 특성 분석을 위해 설계되었으며, F1 스코어 0.763을 기록하여 인간 판독자 성능을 초월하고 고급 MRI 프로토콜과도 맞먹는다. 이는 200개의 골드스탠다드(annotation)에서 시작하여 1,001명의 환자로 확장된 준자동화된 쿠레이션 전략을 통해 달성되었다.

ABSTRACT

Non-invasive radiological-based lesion characterization and identification, e.g., to differentiate cancer subtypes, has long been a major aim to enhance oncological diagnosis and treatment procedures. Here we study a specific population of human subjects, with the hope of reducing the need for invasive surgical biopsies of liver cancer patients, which can cause many harmful side-effects. To this end, we propose a fully-automated and multi-stage liver tumor characterization framework designed for dynamic contrast computed tomography (CT). Our system comprises four sequential processes of tumor proposal detection, tumor harvesting, primary tumor site selection, and deep texture-based tumor characterization. Our main contributions are that, (1) we propose a 3D non-isotropic anchor-free detection method for liver lesions; (2) we present and validate spatially adaptivedeep texture (SaDT) learning, which allows for more precise characterization of liver lesions; (3) using a semi-automatic process, we bootstrap off of 200 gold standard annotations to curate another 1001 patients. Experimental evaluations demonstrate that our new data curation strategy, combined with the SaDT deep dynamic texture analysis, can effectively improve the mean F1 scores by >8.6% compared with baselines, in differentiating four major liver lesion types. Our F1 score of (hepatocellular carcinoma versus remaining subclasses) is 0.763, which is higher than reported human observer performance using dynamic CT and comparable to an advanced magnetic resonance imagery protocol. Apart from demonstrating the benefits of our data curation approach and physician-inspired workflow, these results also indicate that analyzing texture features, instead of standard object-based analysis, is a promising strategy for lesion differentiation.

연구 동기 및 목표

• 비침습적이고 정확한 병변 분류를 통해 침습적 생검에 대한 의존도를 줄이기 위해 다단계 CT를 활용한 간 병변의 비침습적 정밀 분류를 목적으로 한다.
• 즉, 방사선 전문의의 공감조차도 흔히 발생하는 간암 유형(예: HCC 대비 ICC, 전이성 종양, 양성 병변 등)의 오진 문제를 해결하기 위한 것이다.
• 히스토패스로지컬 기준이 확보된 1,001명의 환자 연구로 확장되는, 확장 가능한 준자동화된 데이터 쿠레이션 파이프라인을 개발하기 위한 것이다.
• 형태학적 분석을 넘어서, 대조 강화 단계 간의 동적 텍스처 패턴을 모델링하여 병변 특성 분석을 향상시키기 위한 것이다.
• 딥 텍스처 학습이 간 종양의 미세한 영상 표현형을 구분하는 데 있어 전통적인 객체 인식 접근법보다 뛰어나다는 것을 입증하기 위한 것이다.

제안 방법

• 학습 과정에서 종양 후보 탐지 및 준자동화된 종양 수확을 위해 CenterNet 기반의 3D 비등방성 앵커리스 검출 네트워크를 사용한다.
• 추론 과정에서 진단적 정보가 가장 풍부한 CT 단계를 선택하기 위해 핵심 슬라이스 필터링(KSF) 기법을 적용한다.
• 공간적으로 적응형 딥 텍스처(SaDT) 학습 기법을 도입하여 동맥기, 정맥기 및 지연기 단계 간의 동적 대조 강화 패턴을 모델링한다.
• 약한 지도 학습 기반의 데이터 쿠레이션 전략을 사용한다: 200개의 완전히 애너테이션된 사례를 기반으로 검출 모델을 학습시켜 추가 1,001건의 사례에서 종양을 식별하고, 임상 및 병리학적 보고서를 통해 검증한다.
• 종양 영역의 관심 영역(ROI)에 대한 종방향 컨볼루션 네트워크(FCN)를 사용하여 엔드 투 엔드의 세분화 및 분류를 수행한다.
• 시스템은 준자동화 모드로 작동하며, 인간이 그린 ROI를 입력으로 받거나, 검출 모듈과 통합 시 완전 자동화로도 작동할 수 있다.

실험 결과

연구 질문

• RQ1 3D 앵커리스 검출 네트워크는 다단계 CT에서 고감도 및 고특이도로 간 병변을 효과적으로 식별할 수 있는가?
• RQ2 딥 다이나믹 텍스처 학습(SaDT)은 기존의 객체 기반 분석에 비해 간 종양 특성 분석에서 성능 향상에 기여하는가?
• RQ3 준자동화된 쿠레이션 파이프라인은 소규모 골드스탠다드 애너테이션에서 출발하여 대규모 데이터셋으로 확장하면서 진단 정확도를 유지할 수 있는가?
• RQ4 제안된 프레임워크는 HCC와 다른 간 병변 유형을 구분하는 데 있어 인간 방사선 전문의 성능과 비교해 어떻게 성과를 내는가?
• RQ5 단계 간의 동적 대조 강화 패턴은 형태학적 특징을 넘어서 병변 분류 성능 향상에 얼마나 기여하는가?

주요 결과

• 약한 지도 학습 기반 검출과 전문가 검증을 융합한 제안된 데이터 쿠레이션 전략은 기준 방법 대비 평균 F1 스코어를 8.6% 이상 향상시켰다.
• 간세포암종(HCC)과 다른 병변 유형을 구분하는 데 있어 시스템은 F1 스코어 0.763을 기록하였으며, 보고된 인간 판독자 성능(F1 = 0.690)을 초월하였다.
• 프레임워크는 고급 자기공명 영상(MRI) 프로토콜과도 유사한 성능을 보였으며, 이는 CT 기반 텍스처 분석가 다중 영상 모ality 접근법과도 견줄 수 있음을 시사한다.
• SaDT 모듈은 시간에 따른 대조 동역학을 모델링하여 특성 분석 정확도를 크게 향상시켰으며, 기존의 CNN 기반 객체 인식 기법보다 뛰어난 성능을 보였다.
• KSF 모듈은 최적의 진단 단계를 선택함으로써 추론의 강인성을 향상시켰고, 노이즈와 관련 없는 데이터를 감소시켰다.
• 프레임워크의 성능는 히스토패스로지컬 기준이 확보된 1,305건의 다단계 CT 연구 데이터셋(훈련용 196건, 테스트용 108건)에서 임상적으로 유의미한 방식으로 검증되었다.