[논문 리뷰] Automatic Vertebra Labeling in Large-Scale 3D CT using Deep Image-to-Image Network with Message Passing and Sparsity Regularization

Dong Yang, Tao Xiong외 11명|arXiv (Cornell University)|2017. 05. 17.

Medical Imaging and Analysis참고 문헌 9인용 수 9

한 줄 요약

이 논문은 3D CT 스캔에서 자동 척추 라벨링을 위한 메시지 전달과 희박성 정규화를 갖춘 딥 이미지-투-이미지 네트워크(DI2IN)를 제안한다. 대규모 데이터셋에서 90%의 식별률을 기록하며, GPU 기준으로 스캔당 약 3초 이내의 실시간 성능와 10mm 미만의 국소화 오차를 달성하여 최신 기술을 초월한다.

ABSTRACT

Automatic localization and labeling of vertebra in 3D medical images plays an important role in many clinical tasks, including pathological diagnosis, surgical planning and postoperative assessment. However, the unusual conditions of pathological cases, such as the abnormal spine curvature, bright visual imaging artifacts caused by metal implants, and the limited field of view, increase the difficulties of accurate localization. In this paper, we propose an automatic and fast algorithm to localize and label the vertebra centroids in 3D CT volumes. First, we deploy a deep image-to-image network (DI2IN) to initialize vertebra locations, employing the convolutional encoder-decoder architecture together with multi-level feature concatenation and deep supervision. Next, the centroid probability maps from DI2IN are iteratively evolved with the message passing schemes based on the mutual relation of vertebra centroids. Finally, the localization results are refined with sparsity regularization. The proposed method is evaluated on a public dataset of 302 spine CT volumes with various pathologies. Our method outperforms other state-of-the-art methods in terms of localization accuracy. The run time is around 3 seconds on average per case. To further boost the performance, we retrain the DI2IN on additional 1000+ 3D CT volumes from different patients. To the best of our knowledge, this is the first time more than 1000 3D CT volumes with expert annotation are adopted in experiments for the anatomic landmark detection tasks. Our experimental results show that training with such a large dataset significantly improves the performance and the overall identification rate, for the first time by our knowledge, reaches 90 %.

연구 동기 및 목표

• 척추 기형, 금속 잔상, 제한된 시야 등 병변을 동반한 3D CT 스캔에서 정확한 척추 국소화 문제를 해결하기 위해.
• 저대비 또는 잔상이 많은 스캔에서 문맥 모델링이 부족하거나 굵은 분류에 의존하는 기존 방법의 한계를 극복하기 위해.
• 중간 단계의 특징 추출 없이 3D 볼륨에서 척추 중심점을 직접 회귀하는 엔드 투 엔드 딥 러닝 프레임워크를 개발하기 위해.
• 상하 척추 간 관계를 모델링하기 위해 메시지 전달을 통합하고, 잡음으로 인한 오진 탐지(가짜 양성)를 억제하기 위해 희박성 정규화를 도입하여 정확성과 강인성을 향상시키기 위해.
• 대규모 훈련의 이점을 입증하기 위해 1,000개 이상의 추가 전문가 레이블이 부여된 3D CT 볼륨으로 재훈련하여 성능을 크게 향상시키기 위해.

제안 방법

• 3D CT 볼륨을 다중채널 척추 중심점 확률 맵으로 직접 매핑하는 풀 컨볼루션형, 인코더-디코더 기반의 딥 이미지-투-이미지 네트워크(DI2IN)를 사용하여 볼륨 단위의 회귀를 수행한다.
• 다중 수준의 스케일 연결과 딥 서포비전을 적용하여 훈련 중 특징 학습과 국소화 정확도를 향상시킨다.
• 확률 맵 간 상호 공간적 관계와 상호 일관성을 활용하여 예측을 개선하기 위해 확률 맵 간 메시지 전달 기법을 적용한다.
• 최종 확률 맵에서 활성화 패턴이 희박해지도록 강제함으로써 오진 탐지를 억제하기 위해 희박성 정규화를 도입한다.
• 지식 기반 중심점 위치를 지도로 사용하여 다중채널 볼륨 단위의 회귀를 통해 모델을 엔드 투 엔드로 훈련한다.
• 일반화 능력과 성능 향상을 위해 전문가 레이블이 부여된 1,000개 이상의 추가 3D CT 볼륨으로 구성된 확장된 데이터셋을 사용해 DI2IN를 재훈련한다.

실험 결과

연구 질문

• RQ1 예측 전처리 또는 굵은 탐지 단계에 의존하지 않고도 딥 이미지-투-이미지 네트워크가 3D CT 스캔에서 척추 중심점을 효과적으로 국소화할 수 있는가?
• RQ2 이미지 잔상과 병변이 존재하는 상황에서 척추 간 메시지 전달이 국소화 정확도를 어떻게 향상시키는가?
• RQ3 복잡하거나 저대비인 척추 CT 스캔에서 희박성 정규화가 오진 탐지 수를 어느 정도 감소시키는가?
• RQ4 1,000개 이상의 레이블이 부여된 3D CT 볼륨으로 구성된 대규모 데이터셋에서 훈련하면, 더 작은 벤치마크에 비해 식별 및 국소화 성능이 크게 향상되는가?
• RQ5 제안된 방법은 임상 적용에 적합한 실시간 추론 속도(예: 스캔당 약 3초)를 동시에 확보할 수 있는가?

주요 결과

• 1,000개 이상의 추가 3D CT 볼륨으로 훈련한 결과, 테스트 세트에서 90%의 식별률을 달성하여 이전 최신 기술에 비해 뚜렷한 향상이 있었다.
• 확장된 훈련 데이터를 사용함으로써 전체 테스트 세트에서 평균 국소화 오차는 6.4mm(표준편차 5.9mm)로 감소하여 이전 방법을 능가했다.
• 확장된 데이터셋으로 훈련한 결과,ervical 척추의 식별률은 93%, 허리 척추는 90%를 기록했다.
• 메시지 전달 및 희박성 정규화 구성 요소는 기준 DI2IN 모델 대비 평균 국소화 오차를 각각 2.7mm와 1.1mm 감소시켰다.
• GPU 기준 평균 추론 시간은 3D CT 볼륨당 약 3초였으며, 임상 적용에 적합한 높은 효율성을 입증했다.
• 1,000개 이상의 레이블이 부여된 3D CT 볼륨으로 구성된 대규모 데이터셋에서의 재훈련은 성능 향상에 크게 기여했으며, 이는 척추 랜드마크 탐지 분야에서 처음으로 이와 같은 대규모 훈련 세트를 사용한 사례이다.