[논문 리뷰] Multi-dimensional Gated Recurrent Units for Automated Anatomical Landmark Localization

Simon Andermatt, Simon Pezold외 2명|arXiv (Cornell University)|2017. 08. 09.

Medical Image Segmentation Techniques참고 문헌 11인용 수 7

한 줄 요약

이 논문은 MRI에서 자동 3차원 해부학적 랜드마크 국소화를 위한 이단계, 다차원 게이팅 순환 단위(MD-GRU) 프레임워크를 제안한다. MD-GRU를 활용한 굵은 단계에서 정 fine한 단계로의 정밀 조정을 통해 높은 정확도를 달성한다. 이 방법은 메두로포인틴 수선을 평균 오차 1.7 mm로 국소화하며, 평가자 간 비교에서 임상 전문가의 성능과 동등하다.

ABSTRACT

We present an automated method for localizing an anatomical landmark in three-dimensional medical images. The method combines two recurrent neural networks in a coarse-to-fine approach: The first network determines a candidate neighborhood by analyzing the complete given image volume. The second network localizes the actual landmark precisely and accurately in the candidate neighborhood. Both networks take advantage of multi-dimensional gated recurrent units in their main layers, which allow for high model complexity with a comparatively small set of parameters. We localize the medullopontine sulcus in 3D magnetic resonance images of the head and neck. We show that the proposed approach outperforms similar localization techniques both in terms of mean distance in millimeters and voxels w.r.t. manual labelings of the data. With a mean localization error of 1.7 mm, the proposed approach performs on par with neurological experts, as we demonstrate in an interrater comparison.

연구 동기 및 목표

• 3차원 의료 영상에서 해부학적 랜드마크를 자동으로, 강건하게 국소화하는 방법을 개발하여 평가자 간 및 평가자 내 변동성을 줄이기.
• 컨volutional 신경망(CNNs)이 장거리 맥락적 관계를 포착하는 데 한계가 있음을 고려하여, 다차원 GRUs를 활용한 순환 아키텍처를 도입함.
• 다중 해상도에서 MD-GRUs를 사용한 굵은 단계에서 정 fine한 단계로의 네트워크 설계를 통해 국소화 정확도를 향상시키기.
• 임상 전문가와의 성능 비교를 통해 정확도가 동등한지를 평가하기.
• 이전에 분할에 사용된 바 있는 MD-GRUs의 응용을 랜드마크 검출 작업으로 확장하기.

제안 방법

• 이 방법은 이단계 네트워크를 사용한다: 먼저 굵은 네트워크가 4배 샘플링된 3차원 볼륨을 처리하여 후보 영역을 식별하고, 그 다음에 정밀 네트워크가 고해상도 부분 볼륨에서 랜드마크를 국소화한다.
• 두 네트워크 모두 다차원 게이팅 순환 단위(MD-GRUs)를 사용하며, 각 레이어에서 샘플링을 수행하여 다중 해상도 특징 학습과 공간 복잡도 감소를 가능하게 한다.
• MD-GRU 레이어는 학습 가능한 샘플링 연산을 포함하도록 수정되어, 볼륨 데이터의 계층적 처리를 가능하게 하면서도 파rameter 효율성을 유지한다.
• 각 차원에 대해 256개의 가능한 좌표 클래스에 대한 확률 분포를 예측하며, 최종 좌표는 상위 3개 클래스에 대해 포물선 피팅을 통해 추정된다.
• 훈련은 보간을 피하기 위해 정수 좌표 부분 볼륨의 확률적 샘플링을 사용하며, 확률 예측을 위한 교차 엔트로피 손실을 사용한다.
• 이 프레임워크는 두 명의 전문 평가자가 레이블링한 1218개의 머리 및 목 3D T1-강조 MRI 볼륨에서 평가되었다.

실험 결과

연구 질문

• RQ1 다차원 게이팅 순환 단위(MD-GRUs)는 3차원 해부학적 랜드마크 국소화에 장거리 맥락적 의존성을 효과적으로 모델링할 수 있는가?
• RQ2 군데 단계에서 정밀한 단계로의 이단계 네트워크 설계는 단일 단계 접근 방식보다 국소화 정확도를 향상시키는가?
• RQ3 MD-GRU 기반 네트워크는 랜드마크 국소화에서 인간 전문가의 성능과 비교하여 유사한 성능을 달성할 수 있는가?
• RQ4 이산 좌표 확률 분포와 포물선 피팅의 사용이 국소화 정밀도에 어떤 영향을 미치는가?
• RQ5 제안된 방법은 수동 레이블링에 비해 평가자 간 변동성을 얼마나 줄이는가?

주요 결과

• 제안된 방법은 평균 국소화 오차 1.7 mm를 달성하였으며, 이는 두 명의 임상 전문가 간 평가자 간 변동성과 통계적으로 구별되지 않았다.
• 이단계 네트워크 설계는 굵은 네트워크만 사용한 경우보다 정확도를 크게 향상시켰으며, 최적 설정에서 오차가 50% 이상 감소하였다.
• 각 차원에 대해 256개의 좌표 클래스와 포물선 피팅을 사용함으로써 정확도가 64개 클래스보다 향상되었으며, 훈련 시간은 오직 2.5시간 증가에 그쳤다.
• 표 1c에 나타낸 바와 같이, 기존의 딥 러닝 기반 랜드마크 국소화 기법들보다 평균 거리(mm)와 볼륨 오차 측면에서 모두 뛰어난 성능을 보였다.
• 추론 시간 평가 결과, 볼륨당 4초 이내로 측정되어 임상 통합을 위한 실시간 가능성을 입증하였다.
• 가장 열악한 오차 사례 분석 결과, 가장 큰 편차는 잘못 레이블링된 전문가의 레이블 때문이었으며, 이는 방법의 레이블링 노이즈에 대한 강건성을 시사한다.