[논문 리뷰] Residual Block-based Multi-Label Classification and Localization Network with Integral Regression for Vertebrae Labeling

Chunli Qin, Demin Yao외 4명|arXiv (Cornell University)|2020. 01. 01.

Medical Imaging and Analysis참고 문헌 32인용 수 8

한 줄 요약

이 논문은 CT 영상에서 정확한 척추 분류를 위한 잔차 블록 기반 다중 레이블 분류 및 국소화 네트워크와 통합 회귀를 제안한다. 다중 스케일 특징 추출, 스킵 연결, 그리고 통합 회귀를 통한 미분 가능 키포인트 회귀를 조합함으로써, 엔드 투 엔드 학습이 가능해지고, 평균 국소화 오차가 3mm 미만으로 저감되어 최신 기술들을 능가한다.

ABSTRACT

Accurate identification and localization of the vertebrae in CT scans is a critical and standard preprocessing step for clinical spinal diagnosis and treatment. Existing methods are mainly based on the integration of multiple neural networks, and most of them use the Gaussian heat map to locate the vertebrae's centroid. However, the process of obtaining the vertebrae's centroid coordinates using heat maps is non-differentiable, so it is impossible to train the network to label the vertebrae directly. Therefore, for end-to-end differential training of vertebra coordinates on CT scans, a robust and accurate automatic vertebral labeling algorithm is proposed in this study. Firstly, a novel residual-based multi-label classification and localization network is developed, which can capture multi-scale features, but also utilize the residual module and skip connection to fuse the multi-level features. Secondly, to solve the problem that the process of finding coordinates is non-differentiable and the spatial structure is not destructible, integral regression module is used in the localization network. It combines the advantages of heat map representation and direct regression coordinates to achieve end-to-end training, and can be compatible with any key point detection methods of medical image based on heat map. Finally, multi-label classification of vertebrae is carried out, which use bidirectional long short term memory (Bi-LSTM) to enhance the learning of long contextual information to improve the classification performance. The proposed method is evaluated on a challenging dataset and the results are significantly better than the state-of-the-art methods (mean localization error <3mm).

연구 동기 및 목표

• 열매 기반 좌표 회귀의 비미분 가능성 문제를 해결하고 CT 영상에서 척추 분류를 위한 엔드 투 엔드 미분 가능한 프레임워크를 개발한다.
• 잔차 블록과 스킵 연결을 통한 다중 스케일 특징 통합을 통해 국소화 정확도를 향상시킨다.
• 양방향 LSTM을 사용하여 장거리 문맥적 의존성을 모델링함으로써 분류 성능을 향상시킨다.
• 공간적 구조를 유지하면서 척추 중심 좌표를 직접적이고 미분 가능한 방식으로 회귀할 수 있도록 한다.

제안 방법

• 다중 스케일 특징을 캡처하고 스킵 연결을 통해 다중 수준의 표현을 융합할 수 있도록 잔차 기반의 다중 레이블 분류 및 국소화 네트워크를 설계한다.
• 통합 회귀 모듈은 기존의 히트맵 피크 찾기 방식을 대체하여, 좌표 예측의 엔드 투 엔드 학습을 가능하게 하는 미분 가능한 연산을 수행한다.
• 국소화 헤드는 확률 분포의 가중 평균으로 척추 중심 좌표를 계산함으로써 과정을 미분 가능하게 한다.
• 분류 헤드에 양방향 LSTM(Bi-LSTM)을 통합하여 척추 간 장거리 의존성을 모델링하고 레이블 예측 정확도를 향상시킨다.
• 분류 및 국소화를 위한 병합 손실 함수를 사용하여 네트워크를 엔드 투 엔드로 학습시킨다.
• 이 방법은 어떤 히트맵 기반 키포인트 검출 프레임워크와도 호환되어 기존 파ipelines에 탄력적으로 통합될 수 있다.

실험 결과

연구 질문

• RQ1 CT 영상에서 척추 중심 좌표 예측을 위한 엔드 투 엔드 학습을 가능하게 하는 비차별성 국소화 모듈을 설계할 수 있는가?
• RQ2 다중 스케일 및 다중 수준 특징을 효과적으로 융합하여 국소화 정확도를 향상시킬 수 있는가?
• RQ3 문맥적 시퀀스의 Bi-LSTM 모델링이 다중 레이블 척추 분류 성능에 얼마나 기여하는가?
• RQ4 통합 회귀가 기존의 히트맵 피크 찾기 방식보다 국소화 정밀도와 학습 안정성 측면에서 뛰어나게 되는가?
• RQ5 어려운 척추 분류 벤치마크에서 제안된 방법은 최신 기술들과 비교해 어떻게 성능을 내는가?

주요 결과

• 제안된 방법은 도전적인 CT 데이터셋에서 평균 국소화 오차가 3mm 미만임을 입증하였으며, 기존 최신 기술들보다 뚜렷이 뛰어난 성능을 보였다.
• 통합 회귀 모듈은 미분 가능한 좌표 회귀를 가능하게 하여, 비미분 가능한 후처리에 의존하지 않고 엔드 투 엔드 학습이 가능해졌다.
• 잔차 블록과 스킵 연결의 통합은 특징 표현 학습 및 국소화의 강인성을 향상시켰다.
• 분류 헤드에 Bi-LSTM를 사용함으로써 척추 간 장거리 문맥적 관계를 효과적으로 모델링하여 성능 향상이 이루어졌다.
• 다양한 히트맵 기반 키포인트 검출 접근법과의 강력한 일반화 능력과 호환성을 입증하였다.