[논문 리뷰] Accurate Weakly Supervised Deep Lesion Segmentation on CT Scans: Self-Paced 3D Mask Generation from RECIST

Jinzheng Cai, Youbao Tang외 6명|arXiv (Cornell University)|2018. 01. 25.

Medical Imaging Techniques and Applications참고 문헌 5인용 수 12

한 줄 요약

이 논문은 임상 CT 영상에서 RECIST 직경을 약한 지도로 사용하여 3D 병변 분할을 수행하는 약한 지도 학습 방법을 제안한다. 자기단계 학습 기반의 CNN 프레임워크와 스택형 GAN을 활용한 초해상도 증강 기법을 통해 정확한 부피 병변 마스크를 생성한다. RECIST-슬라이스에서 평균 93%의 Dice를 기록하고 3D에서는 76%를 기록하며, 방사선 전문의의 수용율은 92.4%로, RECIST 기반 부피 추정 방식을 능가한다.

ABSTRACT

Volumetric lesion segmentation via medical imaging is a powerful means to precisely assess multiple time-point lesion/tumor changes. Because manual 3D segmentation is prohibitively time consuming and requires radiological experience, current practices rely on an imprecise surrogate called response evaluation criteria in solid tumors (RECIST). Despite their coarseness, RECIST marks are commonly found in current hospital picture and archiving systems (PACS), meaning they can provide a potentially powerful, yet extraordinarily challenging, source of weak supervision for full 3D segmentation. Toward this end, we introduce a convolutional neural network based weakly supervised self-paced segmentation (WSSS) method to 1) generate the initial lesion segmentation on the axial RECIST-slice; 2) learn the data distribution on RECIST-slices; 3) adapt to segment the whole volume slice by slice to finally obtain a volumetric segmentation. In addition, we explore how super-resolution images (2~5 times beyond the physical CT imaging), generated from a proposed stacked generative adversarial network, can aid the WSSS performance. We employ the DeepLesion dataset, a comprehensive CT-image lesion dataset of 32,735 PACS-bookmarked findings, which include lesions, tumors, and lymph nodes of varying sizes, categories, body regions and surrounding contexts. These are drawn from 10,594 studies of 4,459 patients. We also validate on a lymph-node dataset, where 3D ground truth masks are available for all images. For the DeepLesion dataset, we report mean Dice coefficients of 93% on RECIST-slices and 76% in 3D lesion volumes. We further validate using a subjective user study, where an experienced radiologist accepted our WSSS-generated lesion segmentation results with a high probability of 92.4%.

연구 동기 및 목표

• 임상 CT 영상에서 약한 레이블링된 RECIST 직경을 활용해 정확한 3D 병변 분할을 가능하게 하기 위해.
• RECIST의 한계를 극복하기 위해 2D 직경 추정이 아닌 전체 부피 병변 측정치를 생성하기 위해.
• RECIST-슬라이스에서 학습된 CNN을 기반으로 자기단계 학습 프레임워크를 개발하여 축삭 슬라이스 간에 점진적으로 병변 분할을 정밀화하기 위해.
• 스택형 GAN을 통해 생성된 초해상도 이미지를 활용해 방사선 전문의의 확대 행동을 모방함으로써 모델 성능을 향상시키기 위해.
• 정량적 지표와 주관적 방사선 전문의 평가를 통해 방법의 임상 타당성을 검증하기 위해.

제안 방법

• 약한 지도 학습 기반으로 GrabCut과 같은 비지도 방법을 사용해 RECIST-슬라이스에서 병변 분할을 초기화한다.
• RECIST-슬라이스에서 병변의 외관 패턴을 학습하고 반복적으로 분할을 개선하기 위해 딥 CNN을 훈련시킨다.
• 자기단계 방식으로 인접한 슬라이스로 분할을 전파하여 점진적으로 전체 3D 부피로 확장한다.
• 스택형 생성적 적대적 네트워크(SGAN)를 활용해 이미지 해상도를 2~5배 향상시켜 소규모 병변 탐지 능력을 향상시킨다.
• 개선된 분할 결과를 기반으로 CNN을 추가로 미세조정하여 병변 부피 전반에 걸쳐 적응형 학습을 가능하게 한다.
• 완전한 3D 진단값이 제공되는 DeepLesion 데이터셋과 림프절 데이터셋을 대상으로 방법을 검증한다.

실험 결과

연구 질문

• RQ1 RECIST 직경이 약한 지도로 효과적으로 활용되어 CT 영상에서 정확한 3D 병변 분할을 생성할 수 있는가?
• RQ2 표준 약한 지도 학습 방법과 비교했을 때 자기단계 학습이 병변 분할 성능을 어떻게 향상시키는가?
• RQ3 초해상도 이미지 생성 기법이 병변 경계 탐지 및 분할 정확도에 어느 정도 기여하는가?
• RQ4 시간 경과에 따른 병변 부피 변화 추적에서 제안된 WSSS 방법이 RECIST 기반 타원체 부피 추정 방식보다 성능이 뛰어나다는가?
• RQ5 전문 방사선 전문의가 WSSS로 생성된 분할 결과를 얼마나 수용하는가?

주요 결과

• RECIST-슬라이스에서 평균 93%의 Dice 계수를 기록하여 초기 병변 위치 추정의 높은 정확도를 입증한다.
• 3D 병변 부피 분할에서 평균 76%의 Dice 스코어를 기록하여 전체 부피 재구성에서 뛰어난 성능을 보인다.
• WSSS로 생성된 분할 결과에 대한 주관적 방사선 전문의 수용율은 92.4%로, 수동 분할의 98.7% 수준에 가깝다.
• WSSS 방법은 RECIST 기반 타원체 부피 추정보다 수동 부피 측정치와 더 강한 상관관계를 보이며(R² = 0.78), RECIST 기반 추정은 R² = 0.62이다.
• 스택형 GAN을 통한 초해상도 증강은 평균 표면 거리(AVD)를 15% 감소시켜 0.230에서 0.189로 향상시켜 경계 정의의 정확도 향상을 입증한다.
• 직접 비교 결과, 방사선 전문의는 72건에서 WSSS 분할을 수동 분할보다 선호했고, 645건에서는 둘을 구분할 수 없었으며, 269건에서는 수동 분할을 선호했다. 이는 높은 임상적 관련성을 확인한다.