[논문 리뷰] Semi-Automatic RECIST Labeling on CT Scans with Cascaded Convolutional Neural Networks

Youbao Tang, Adam P. Harrison외 3명|arXiv (Cornell University)|2018. 06. 25.

Radiomics and Machine Learning in Medical Imaging인용 수 4

한 줄 요약

이 논문은 CT 영상에서 반자동 RECIST 레이블링을 위한 계단식 딥러닝 프레임워크를 제안한다. 이 프레임워크는 공간 변환망(STN)과 스택드 아워글래스망(SHN)을 활용하며, 병변 영역를 정규화하고 직각 제약 조건을 도입하여 직경 추정의 정확도를 향상시킨다. 이로 인해 레이블링 소요 시간이 감소하고, 인간 방사선의사보다도 더 낮은 관측자 간 변동성을 보이며, DeepLesion 데이터셋에서 수동 레이블링에 비해 일관성과 정밀도 면에서 뛰어난 성능을 달성한다.

ABSTRACT

Response evaluation criteria in solid tumors (RECIST) is the standard measurement for tumor extent to evaluate treatment responses in cancer patients. As such, RECIST annotations must be accurate. However, RECIST annotations manually labeled by radiologists require professional knowledge and are time-consuming, subjective, and prone to inconsistency among different observers. To alleviate these problems, we propose a cascaded convolutional neural network based method to semi-automatically label RECIST annotations and drastically reduce annotation time. The proposed method consists of two stages: lesion region normalization and RECIST estimation. We employ the spatial transformer network (STN) for lesion region normalization, where a localization network is designed to predict the lesion region and the transformation parameters with a multi-task learning strategy. For RECIST estimation, we adapt the stacked hourglass network (SHN), introducing a relationship constraint loss to improve the estimation precision. STN and SHN can both be learned in an end-to-end fashion. We train our system on the DeepLesion dataset, obtaining a consensus model trained on RECIST annotations performed by multiple radiologists over a multi-year period. Importantly, when judged against the inter-reader variability of two additional radiologist raters, our system performs more stably and with less variability, suggesting that RECIST annotations can be reliably obtained with reduced labor and time.

연구 동기 및 목표

• 방사선의사가 수행하는 수동 RECIST 레이블링의 시간 소모성, 주관성, 일관성 부족 문제를 해결하기 위해.
• 치료 반응 평가를 위한 종양 직경 측정에서 정확도를 유지하면서도 레이블링 소요 시간을 단축하기 위해.
• 임상적 의사결정에 영향을 미치는 RECIST 측정의 관측자 간 변동성을 최소화하기 위해.
• 방사선의사가 병변의 근본적인 경계 상자를 제공하기만 하면 되는 반자동 방법을 개발하여 인간의 전문 지식과 딥러닝을 융합하기 위해.
• 모델이 예측한 RECIST 레이블링이 여러 명의 인간 독자보다 더 일관성 있는 결과를 도출할 수 있음을 입증하기 위해.

제안 방법

• 두 단계로 구성된 계단식 프레임워크를 사용: 다중 작업 로컬라이제이션 네트워크를 활용한 공간 변환망(STN)을 통한 병변 영역 정규화.
• STN는 ResNet-50 기반의 로컬라이제이션 네트워크를 활용하여 병변 영역와 변환 파라미터를 공동 손실 최적화를 통해 예측한다.
• RECIST 추정을 위해 수정된 스택드 아워글래스망(SHN)이 장축과 단축의 네 개의 핵심점 끝점을 예측한다.
• 기하학적 정확도 향상을 위해 장축과 단축이 수직이 되도록 보장하기 위해 코사인 손실을 도입한 직각 제약 손실을 제안한다.
• STN와 SHN는 다중 작업 학습을 통해 엔드 투 엔드로 동시에 학습되며, 로컬라이제이션, 변환, 핵심점 히트맵 감시를 통합한다.
• 모델은 다수의 방사선의사가 제공한 RECIST 레이블을 기반으로 한 공감 모델을 생성하기 위해 DeepLesion 데이터셋에서 학습된다.

실험 결과

연구 질문

• RQ1 딥러닝 모델이 CT 영상에서 수동 RECIST 레이블링의 시간 소모성과 주관성을 줄일 수 있는가?
• RQ2 STN와 SHN를 활용한 계단식 CNN 아키텍처가 인간 방사선의사보다 더 일관성 있는 RECIST 측정을 제공하는가?
• RQ3 공간 변환망의 통합이 크기, 방향, 위치가 다양할 수 있는 병변에 대한 강건성을 향상시키는가?
• RQ4 코사인 손실을 통해 장축과 단축 간의 수직성을 강제함으로써 RECIST 추정 정확도가 향상되는가?
• RQ5 다중 독자 레이블링을 기반으로 학습된 모델의 관측자 간 변동성이 인간 독자보다 낮을 수 있는가?

주요 결과

• 제안된 방법(STN+SHN)은 방사선의사 레이블링과 비교해 축 위치 및 길이 측정에서 평균 차이와 표준편차가 가장 낮아, 뛰어난 일관성을 보였다.
• 모델의 RECIST 추정치는 장축 길이 평균 오차 4.47 ± 6.26 mm, 단축 길이 평균 오차 2.68 ± 4.31 mm를 기록했으며, 모든 아블레이션 변형보다 뛰어난 성능을 보였다.
• 두 명의 추가 방사선의사와 비교해 변동성이 더 적었으며, 장축 길이 표준편차 6.26 mm, 단축 길이 표준편차 4.31 mm를 기록하여 인간의 관측자 간 변동성보다 낮았다.
• 아블레이션 연구를 통해 다중 작업 STN와 직각 제약 손실 모두 성능 향상에 기여했으며, STN+SHN가 모든 다른 구성보다 뛰어난 성능을 보였다.
• 모델의 예측치는 DeepLesion 데이터셋에서의 다중 독자 공감 레이블에 가장 가까웠으며, 이는 RECIST 측정에 대해 일반화된 비편향된 표현을 학습했다는 것을 시사한다.
• 이 프레임워크는 오직 근본적인 경계 상자만으로도 반자동 레이블링을 가능하게 하여, 방사선의사의 작업 부담을 크게 줄이고도 높은 정밀도와 일관성을 유지한다.