[논문 리뷰] Accurate Weakly-Supervised Deep Lesion Segmentation using Large-Scale Clinical Annotations: Slice-Propagated 3D Mask Generation from 2D RECIST

Jinzheng Cai, Youbao Tang외 6명|arXiv (Cornell University)|2018. 07. 02.

Radiomics and Machine Learning in Medical Imaging참고 문헌 16인용 수 7

한 줄 요약

이 논문은 CT 영상에서 대규모 임상적 RECIST 표기 정보를 활용하여 완전한 수작업 세그멘테이션 없이 정확한 부피적 병변 마스크를 생성하는 약한 감독 3D 병변 세그멘테이션 방법을 제안한다. 슬라이스 전파 기반의 CNN 프레임워크를 사용하여, 먼저 RECIST 마킹이 된 슬라이스에서 GrabCut 초기화를 통해 병변을 세그멘테이션하고, 인접한 슬라이스를 통해 반복적으로 예측값을 개선한다. 이로써 RECIST 슬라이스에서 평균 92%의 Dice를 달성하고, 전체 3D 볼륨에서 76%의 성능을 기록한다.

ABSTRACT

Volumetric lesion segmentation from computed tomography (CT) images is a powerful means to precisely assess multiple time-point lesion/tumor changes. However, because manual 3D segmentation is prohibitively time consuming, current practices rely on an imprecise surrogate called response evaluation criteria in solid tumors (RECIST). Despite their coarseness, RECIST markers are commonly found in current hospital picture and archiving systems (PACS), meaning they can provide a potentially powerful, yet extraordinarily challenging, source of weak supervision for full 3D segmentation. Toward this end, we introduce a convolutional neural network (CNN) based weakly supervised slice-propagated segmentation (WSSS) method to 1) generate the initial lesion segmentation on the axial RECIST-slice; 2) learn the data distribution on RECIST-slices; 3) extrapolate to segment the whole lesion slice by slice to finally obtain a volumetric segmentation. To validate the proposed method, we first test its performance on a fully annotated lymph node dataset, where WSSS performs comparably to its fully supervised counterparts. We then test on a comprehensive lesion dataset with 32,735 RECIST marks, where we report a mean Dice score of 92% on RECIST-marked slices and 76% on the entire 3D volumes.

연구 동기 및 목표

• CT 영상에서 약한 임상적 RECIST 표기 자료로부터 정확한 3D 병변 세그멘테이션을 생성하는 데 도전하는 것.
• 픽셀 수준의 표기 자료가 필요 없이, 특히 RECIST 지름을 활용하여 대규모 후행 임상 데이터를 활용하는 방법을 개발하는 것.
• 정밀 양적 영상의학을 위한 자동화되고 확장 가능한 정밀 부피 측정을 가능하게 하는 것.
• 약한 감독 학습을 통해 RECIST 자료를 활용하면, 제한된 표기된 서브셋으로 훈련된 완전 감독 모델보다 성능이 뛰어날 수 있음을 입증하는 것.
• 완전히 표기된 림프절 데이터셋과 32,735개의 RECIST 마킹을 포함한 대규모 병변 데이터셋에서 방법의 유효성을 검증하는 것.

제안 방법

• RECIST 슬라이스에서의 초기 병변 세그멘테이션은 RECIST 지름에서 유도된 공간적 사전 시 sems를 활용한 GrabCut 초기화를 통해 수행되어 초기화 품질을 향상시킨다.
• 약한 감독을 통해 RECIST 지름에서 유도된 정보를 사용하여, RECIST 슬라이스 전용으로 CNN 기반 모델(HNN)을 훈련시켜 CT 슬라이스 간 병변의 외관 패턴을 학습한다.
• 모델는 슬라이스 단위로 반복적으로 전파하는 전략을 사용한다: RECIST 슬라이스를 세그멘테이션한 후, 인접한 슬라이스의 예측값을 사용해 모델를 미세 조정하고, 이를 통해 모델를 추가로 개선한다.
• 3, 5, 또는 7개의 축방향 슬라이스를 대상으로 3D 전파 전략을 사용하여 RECIST 슬라이스를 초월한 세그멘테이션을 일반화하고, 해부학적 변동성에 대한 강건성을 향상시킨다.
• 예측값을 기반으로 인접한 슬라이스의 모델 가중치를 반복적으로 업데이트하여, 가짜 레이블링과 능동적 개선을 통해 자기 개선을 가능하게 한다.
• 최종 3D 세그멘테이션은 볼륨 내 모든 슬라이스를 통해 개선된 모델을 전파하여 생성되며, 추가적인 표기 자료가 필요 없이 완전한 병변 마스크를 생성한다.

실험 결과

연구 질문

• RQ1 병원의 PACS 시스템에 일반적으로 저장되는 RECIST 지름은 픽셀 수준의 표기 자료 없이도 3D 병변 세그멘테이션 모델을 훈련시키는 데 효과적으로 활용될 수 있는가?
• RQ2 CNN 기반 모델을 사용한 슬라이스 단위 전파 전략은 RECIST 슬라이스를 초월해 직접 3D RECIST 근사치와 비교할 때 세그멘테이션 정확도를 어떻게 향상시키는가?
• RQ3 대규모이지만 잘못 표기된 RECIST 자료를 사용한 약한 감독 학습이, 더 작은 크기의 완전히 표기된 데이터셋으로 훈련된 완전 감독 모델보다 얼마나 뛰어나게 성능을 발휘할 수 있는가?
• RQ4 3D 세그멘테이션 성능을 최대화하기 위해 최적의 전파 슬라이스 수(예: 3, 5, 7)는 얼마인가?
• RQ5 제안된 방법은 다양한 해부학적 부위와 병변 유형 간에 일반화되어 높은 세그멘테이션 정확도를 유지할 수 있는가?

주요 결과

• 32,735개의 RECIST 마킹을 포함한 DeepLesion 데이터셋에서 제안된 WSSS 방법은 RECIST 슬라이스에서 평균 92%의 Dice 스코어를 달성하여, 약한 감독 병변 국소화의 높은 정확도를 입증했다.
• 전체 3D 병변 볼륨에 대해, 이 방법은 기준 모델인 GrabCut-3DE(오프셋 4에서 55%)와 HNN 단독 모델(평균 75.6%)보다 뚜렷이 뛰어난 평균 76%의 Dice 스코어를 기록했다.
• 슬라이스 전파 전략을 사용한 방법(WSSS-7)은 모든 병변 유형에서 평균 76.2%의 Dice를 달성했으며, 비전파 기반 기준 모델 대비 최대 1.5% 향상된 성능을 보였다.
• 오직 1,000개의 표기된 슬라이스로 훈련된 완전 감독 모델보다도 성능이 뛰어나, 대규모 임상 자료에서의 약한 감독 학습이 제한된 완전 감독 학습을 능가할 수 있음을 보여주었다.
• 보드 자격을 가진 방사선 전문의가 수행한 정성적 평가에서, 방법은 80%의 경우에서 병변 경계를 성공적으로 포착했으며, 나머지 20%에서는 소수의 잘못된 양성 반응 또는 누락 영역이 관찰되었다.
• RECIST 슬라이스 전용으로 훈련된 HNN 모델은 림프절 데이터셋에서 평균 83.7%의 Dice 스코어를 기록했으며, 진단 마스크가 있는 완전 감독 UNet(83.8%) 및 HNN(84.5%)의 성능에 근접했다.