[논문 리뷰] Deep Lesion Tracker: Monitoring Lesions in 4D Longitudinal Imaging Studies

Jinzheng Cai, Youbao Tang외 5명|arXiv (Cornell University)|2020. 12. 09.

AI in cancer detection참고 문헌 58인용 수 5

한 줄 요약

이 논문은 4D 종단적 CT 영상 간 병변을 추적하기 위해 외관 신호와 해부학적 신호를 통합하는 딥 러닝 프레임워크인 Deep Lesion Tracker (DLT)을 제안한다. 해부학적 신호 인코더와 새로운 시아모이즈 네트워크 설계를 통합함으로써 DLT는 병변 중심 국소화에서 평균 오차 7mm를 달성하였으며, 선도적인 정렬 방법보다 5% 향상되었고, 14배 빠른 속도로 작동하며 임상 데이터에 대해 88%의 정확도로 잘 일반화된다.

ABSTRACT

Monitoring treatment response in longitudinal studies plays an important role in clinical practice. Accurately identifying lesions across serial imaging follow-up is the core to the monitoring procedure. Typically this incorporates both image and anatomical considerations. However, matching lesions manually is labor-intensive and time-consuming. In this work, we present deep lesion tracker (DLT), a deep learning approach that uses both appearance- and anatomical-based signals. To incorporate anatomical constraints, we propose an anatomical signal encoder, which prevents lesions being matched with visually similar but spurious regions. In addition, we present a new formulation for Siamese networks that avoids the heavy computational loads of 3D cross-correlation. To present our network with greater varieties of images, we also propose a self-supervised learning (SSL) strategy to train trackers with unpaired images, overcoming barriers to data collection. To train and evaluate our tracker, we introduce and release the first lesion tracking benchmark, consisting of 3891 lesion pairs from the public DeepLesion database. The proposed method, DLT, locates lesion centers with a mean error distance of 7 mm. This is 5% better than a leading registration algorithm while running 14 times faster on whole CT volumes. We demonstrate even greater improvements over detector or similarity-learning alternatives. DLT also generalizes well on an external clinical test set of 100 longitudinal studies, achieving 88% accuracy. Finally, we plug DLT into an automatic tumor monitoring workflow where it leads to an accuracy of 85% in assessing lesion treatment responses, which is only 0.46% lower than the accuracy of manual inputs.

연구 동기 및 목표

• 정확하고 자동화된 병변 추적 기술을 종단적 의료 영상 연구에 적용하는 데 도전하는 것.
• 쌍체화되지 않은 영상 데이터를 사용하여 수동 애너테이션에 의존도를 줄이기 위한 자기지도 학습 전략 개발.
• 외관 기반 매칭과 해부학적 제약 조건을 통합하여 추적의 강건성을 향상시키는 것.
• DeepLesion 데이터베이스에서 유래한 3,891개의 병변 쌍을 사용하여 병변 추적을 위한 첫 번째 공개 벤치마크 수립.

제안 방법

• 계산 비용이 높은 3D 상관관계를 피하는 데 초점을 맞춘 새로운 시아모이즈 네트워크 설계.
• 환자의 해부학적 구조에서 유도된 공간적 및 구조적 제약 조건을 통합하기 위한 해부학적 신호 인코더(ASE) 도입.
• 병변 매칭을 위한 특징 표현을 향상시키기 위해 학습 가능한 분해 모듈 사용.
• 쌍체화되지 않은 영상에서 학습할 수 있도록 자기지도 학습(SSL) 전략 적용, 이로써 종단적 데이터셋 외의 데이터도 활용 가능.
• 국소화 정확도 향상을 위해 중심 증강과 글로벌 커널 풀링 적용.
• 외관 임베딩과 해부학적 신호를 곱하기 기반 융합으로 통합하여 매칭의 정밀도 향상.

실험 결과

연구 질문

• RQ1 외관 신호와 해부학적 신호를 모두 활용하여 딥 러닝 모델이 4D 종단적 CT 영상 간 병변을 효과적으로 추적할 수 있는가?
• RQ2 해부학적 제약 조건을 통합할 경우, 외관 기반 방법에 비해 추적 정확도가 얼마나 향상되는가?
• RQ3 자기지도 학습 전략을 통해 병변 추적에서 쌍체화된 종단적 애너테이션의 필요성을 얼마나 줄일 수 있는가?
• RQ4 DLT는 정상적인 정렬 및 추적 방법에 비해 속도, 정확도, 임상 데이터에서의 일반화 능력 측면에서 어떻게 비교되는가?

주요 결과

• DLT는 병변 중심 국소화에서 평균 오차 거리 7mm를 달성하였으며, 선도적인 정렬 알고리즘보다 5% 향상되었다.
• DLT는 전체 CT 볼륨에서 DEEDS보다 14배 빠르게 작동하면서도 정확도에서도 뛰어난 성능을 보였다.
• 100개의 종단적 연구로 구성된 외부 임상 테스트 세트에서 DLT는 88%의 추적 정확도를 달성하였다.
• 후속 병변 크기 측정 작업에서 DLT는 수동 입력과 비교해 치료 반응 정확도가 0.46% 뿐 낮게 나타났다.
• 자기지도 학습 전략을 통해 쌍체화되지 않은 영상 데이터를 효과적으로 활용함으로써 고비용 종단적 애너테이션에 대한 의존도를 줄일 수 있었다.
• 절단 분석 결과 해부학적 신호 인코더와 학습 가능한 분해 모듈이 높은 성능 달성에 결정적인 역할을 한다는 것이 확인되었다.