[논문 리뷰] A Localisation-Segmentation Approach for Multi-label Annotation of Lumbar Vertebrae using Deep Nets

Anjany Sekuboyina, Alexander Valentinitsch외 2명|arXiv (Cornell University)|2017. 03. 13.

Medical Imaging and Analysis참고 문헌 7인용 수 49

한 줄 요약

이 논문은 CT 영상에서 요추 체절(L1–L5)의 다중 레이블 세분화를 위한 이단계 딥 러닝 접근법을 제안한다: 먼저 깊이 신경망을 이용한 회귀 분석을 통해 요추 영역을 국소화하고, 이후 전연결 합성곱 신경망을 통해 모든 체절을 동시에 세분화하고 레이블링한다. 이 방법은 척추 변형(척추측만, 골절 포함)이 심한 경우도 포함된 과도한 xVertSeg 데이터셋에서 평균 딱지 계수 90% 이상을 달성한다.

ABSTRACT

Multi-class segmentation of vertebrae is a non-trivial task mainly due to the high correlation in the appearance of adjacent vertebrae. Hence, such a task calls for the consideration of both global and local context. Based on this motivation, we propose a two-staged approach that, given a computed tomography dataset of the spine, segments the five lumbar vertebrae and simultaneously labels them. The first stage employs a multi-layered perceptron performing non-linear regression for locating the lumbar region using the global context. The second stage, comprised of a fully-convolutional deep network, exploits the local context in the localised lumbar region to segment and label the lumbar vertebrae in one go. Aided with practical data augmentation for training, our approach is highly generalisable, capable of successfully segmenting both healthy and abnormal vertebrae (fractured and scoliotic spines). We consistently achieve an average Dice coefficient of over 90 percent on a publicly available dataset of the xVertSeg segmentation challenge of MICCAI 2016. This is particularly noteworthy because the xVertSeg dataset is beset with severe deformities in the form of vertebral fractures and scoliosis.

연구 동기 및 목표

• 인접한 체절 간 외형 유사성으로 인해 다중 클래스 세분화가 어려운 문제를 해결한다.
• 골절이나 척추측만이 있는 비정상 척추에서는 실패하는 모델 기반 접근법의 한계를 극복한다.
• 요추 영역을 국소화하고 단일 프레임워크 내에서 동시 세분화 및 레이블링을 수행하는 일반화 가능한 종단 간 엔드 투 엔드 파이프라인을 개발한다.
• 다양한 임상 데이터, 특히 심한 변형과 병변이 있는 척추 사례에서도 강건한 성능을 달성한다.
• 딥 러닝을 활용한 향후 다중 클래스 척추 세분화 작업을 위한 강력한 베이스라인을 제공한다.

제안 방법

• 맥락적 강도 특징 기반으로 요추 영역을 국소화하기 위해 ReLU 활성화 함수를 사용하는 다섯 층의 깊이 신경망을 활용한 비선형 회귀를 수행한다.
• 임의로 오프셋된 큐브로드 내 평균 강도를 사용하여 병렬 스페이셜 컨텍스트를 인코딩하는 볼륨 단위 특징을 구성한다.
• 요추 척추 주변의 3차원 경계 상자 형성에 사용되는 여섯 개의 평면(x_min, x_max, y_min, y_max, z_min, z_max)을 정의한다.
• 예측된 경계 상자 주변에 15바이트의 허용 오차 마진을 적용하여 요추 영역의 완전한 커버리지 보장을 한다.
• 국소화된 영역에서 동시에 L1–L5와 배경에 대한 다중 클래스 세분화 및 레이블링을 수행하기 위해 전연결 합성곱 신경망(FCN)을 적용한다.
• Adam 솔버를 사용한 교차 엔트로피 손실을 최적화하여 FCN을 훈련하며, xVertSeg 데이터셋에서 사전 훈련 및 미세조정을 수행하여 총 2000 에포크 동안 훈련한다.

실험 결과

연구 질문

• RQ1 이단계 딥 러닝 파이프라인은 높은 정확도로 CT 영상에서 다수의 요추 체절을 효과적으로 국소화하고 세분화할 수 있는가?
• RQ2 기존의 모델 기반 접근법과 비교해 볼 때, 제안된 방법은 골절이나 척추측만이 있는 병변이 있는 경우에 얼마나 잘 일반화되는가?
• RQ3 회귀를 통한 글로벌 컨텍스트 및 FCN를 통한 로컬 컨텍스트를 통합할 경우, 상호 상관관계가 높은 체절에서 세분화 성능이 얼마나 향상되는가?
• RQ4 xVertSeg 벤치마크에서 달성 가능한 성능 수준은 어떠한가? 특히 모든 체절의 딱지 계수와 심한 척추 변형이 존재하는 상황에서의 성능을 중심으로 한다.
• RQ5 재훈련이 광범위하게 필요하지 않게도 다양한 임상적 FOV 및 스캐너 프로토콜에서 일관된 성능을 달성할 수 있는가?

주요 결과

• 제안된 방법은 훈련 세트에서 평균 딱지 계수 92.7%와 테스트 세트에서 94.3%를 기록하였으며(평가자-1), 모든 체절에서 90% 이상의 일관된 성능을 확보하였다.
• 세분화 성능은 중심 체절(L3 및 L4)에서 가장 높았으며, 각각 딱지 계수 93.5%와 92.9%를 기록하였다. 반면 외곽 체절(L1 및 L5)은 약간 낮은 성능를 보였지만 여전히 뛰어난 성능를 유지하였다.
• 국소화 단계는 테스트 케이스 평균 감도 0.98을 달성하였으며, 유일하게 성능이 떨어진 케이스(025번)를 제외하고는 모든 경우에서 거의 완벽한 성능(1.0)을 기록하였다. 이 케이스는 FOV에 골반부가 포함되어 있었다.
• 전통적인 모델 기반 접근법이 일반적으로 실패하는 척추측만이나 체절 골절이 있는 심한 변형 척추도 성공적으로 세분화하였다.
• 신경망은 예상치 못한 데이터, 다양한 해부학적 변형, 뼈 밀도 분포, 척추 곡선을 포함한 임상 인구군에 대해 잘 일반화되었다.
• 시각적 결과는 경계가 모호한 경우(예: T12와 L1, 또는 L5와 S1 사이의 경계)와 같은 해부학적 불확실성이 높은 경우에도 강건한 세분화를 확인할 수 있었다.