[논문 리뷰] VoteNet: A Deep Learning Label Fusion Method for Multi-Atlas Segmentation

Zhipeng Ding, Xu Han외 1명|arXiv (Cornell University)|2019. 04. 18.

Advanced Neural Network Applications참고 문헌 14인용 수 7

한 줄 요약

VoteNet는 3D 뇌 MRI 분할에서 최고 성능을 기록하는 딥러닝 기반의 레이블 융합 방법을 제안한다. 이는 이진 마스크 예측 네트워크를 통해 각 볼륨에서 신뢰할 만한 앤티포인트를 국소적으로 식별한 후, 이러한 선택된 앤티포인트들에 한해 다수결 투표를 적용한다. 이는 전통적인 레이블 융합 방법과 U-Net을 모두 능가하며, 공간 일관성을 유지하면서 딥러닝 기반의 정렬을 통해 빠른 추론을 가능하게 한다.

ABSTRACT

Deep learning (DL) approaches are state-of-the-art for many medical image segmentation tasks. They offer a number of advantages: they can be trained for specific tasks, computations are fast at test time, and segmentation quality is typically high. In contrast, previously popular multi-atlas segmentation (MAS) methods are relatively slow (as they rely on costly registrations) and even though sophisticated label fusion strategies have been proposed, DL approaches generally outperform MAS. In this work, we propose a DL-based label fusion strategy (VoteNet) which locally selects a set of reliable atlases whose labels are then fused via plurality voting. Experiments on 3D brain MRI data show that by selecting a good initial atlas set MAS with VoteNet significantly outperforms a number of other label fusion strategies as well as a direct DL segmentation approach. We also provide an experimental analysis of the upper performance bound achievable by our method. While unlikely achievable in practice, this bound suggests room for further performance improvements. Lastly, to address the runtime disadvantage of standard MAS, all our results make use of a fast DL registration approach.

연구 동기 및 목표

• 기존의 다중 앤티포인트 분할(MAS)의 한계를 해결하기 위해, 비용이 많이 드는 정렬 과정으로 인해 느리고, 레이블 융합 과정에서 공간 일관성이 떨어지는 문제를 해결한다.
• 모든 앤티포인트를 사용하는 것이 아니라, 각 볼륨에서 가장 신뢰할 만한 앤티포인트만 국소적으로 선택하여 레이블 융합 성능을 향상시키는 방법을 학습한다.
• MAS의 공간 일관성이라는 강점을 딥러닝과 융합하여 높은 정확도와 빠른 추론을 달성한다.
• 제안된 방법의 성능 상한선을 경험적으로 평가하여未래 개선 여지를 규명한다.
• VoteNet과 U-Net을 융합한 하이브리드 전략이 둘 다의 한계를 보완하여 성능을 향상시킬 수 있음을 보여준다.

제안 방법

• VoteNet는 대상 영상과 변형된 앤티포인트 영상들을 입력으로 받아, 각 앤티포인트에 대해 이진 마스크를 예측하는 딥 네트워크이다. 이 마스크는 각 볼륨에서 해당 앤티포인트가 국소적으로 신뢰할 수 있는지를 나타낸다.
• 스킵 연결을 갖춘 U-Net 유사한 인코더-디코더 아키텍처를 사용하여 공간 세부 정보를 유지하고, 신뢰할 만한 앤티포인트 기여의 정밀한 국소화를 가능하게 한다.
• 각 볼륨에서 VoteNet는 각 앤티포인트에 대해 신뢰도 점수를 출력하며, 높은 신뢰도를 가진 앤티포인트들만 최종 다수결 투표 단계에 포함된다.
• 레이블 융합은 VoteNet가 신뢰할 만하다고 판단한 앤티포인트들에 한해 수행되며, 이로 인해 잘못 정렬되거나 정확도가 떨어지는 앤티포인트의 영향을 줄인다.
• 모든 앤티포인트들을 대상 영상 공간으로 변형하기 위해 빠른 딥러닝 기반의 비선형 정렬(Quicksilver)을 사용하여 기존 정렬 방법에 비해 런타임을 크게 단축시킨다.
• VoteNet가 기각한 볼륨(약 7.5%의 뇌 볼륨)을 보완하기 위해 하이브리드 VoteNet+U-Net 전략을 제안한다. 이는 U-Net이 누락된 레이블을 메운다.

실험 결과

연구 질문

• RQ1 딥러닝 기반의 레이블 융합 방법이 국소적으로 신뢰할 만한 앤티포인트를 선택함으로써, 전역적 또는 패치 기반 융합 전략보다 다중 앤티포인트 분할에서 더 나은 성능을 낼 수 있는가?
• RQ2 이러한 선택적 융합 전략은 빠른 추론을 유지하면서도 표준 U-Net보다 더 높은 분할 정확도와 공간 일관성을 달성할 수 있는가?
• RQ3 제안된 VoteNet 방법의 이론적 성능 상한선은 무엇이며, 현재 성능와의 격차는 얼마나 되는가?
• RQ4 VoteNet과 U-Net을 융합함으로써 VoteNet의 기각된 볼륨 처리 능력의 한계를 보완하여 성능 향상을 이룰 수 있는가?
• RQ5 Dice 점수, 표면 거리, 형태 보존 측면에서 VoteNet의 성능는 다수결 투표 및 기타 레이블 융합 방법과 비교해 어떻게 되는가?

주요 결과

• VoteNet는 LPBA40 데이터셋에서 기존의 다수결 투표 및 기타 레이블 융합 전략보다 뚜렷이 뛰어나며, 더 높은 Dice 점수와 더 나은 표면 정확도를 기록한다.
• 국소 앤티포인트 선택에서 VoteNet는 볼륨 Dice 점수 0.86을 달성하여 지표 레이블과의 강한 일치를 보여준다.
• 하이브리드 VoteNet+U-Net 전략은 VoteNet과 U-Net 각각을 별도로 사용한 경우보다 더 높은 성능을 보이며, 선택적 융합과 딥러닝 분할의 장점을 융합한 결과임을 입증한다.
• VoteNet는 잘못된 레이블을 기여하는 앤티포인트를 걸러내어 레이블 융합에서 참 긍정의 재현율을 향상시킨다. 이는 재현도 맵 비교를 통해 확인된다.
• 다수결 투표는 케라미드를 부드럽게 만드는 경향이 있는 반면, VoteNet는 케라미드 구조를 더 잘 보존하며, 형태 왜곡이 발생하는 U-Net보다 형태 일관성이 뛰어나다.
• 경험적 상한선 분석 결과, 현재 VoteNet 성능와 이론적 오라클 성능 사이에 큰 격차가 있음을 확인하였으며,未래 향상 여지가 매우 크다는 것을 시사한다.