[논문 리뷰] Pyramid Network with Online Hard Example Mining for Accurate Left Atrium Segmentation

Cheng Bian, Xin Yang외 6명|arXiv (Cornell University)|2018. 12. 14.

Cardiac Valve Diseases and Treatments참고 문헌 15인용 수 6

한 줄 요약

이 논문은 가드롤린-강화된 MR 볼륨에서 정확한 좌심방 및 정맥 분할을 위해 온라인 하드 예외 샘플링(OHNEM)과 경쟁적 훈련을 통합한 2D 피라미드 네트워크를 제안한다. 다중 척도 특징 집약과 경계 박자에서 분류가 어려운 볼륨을 중심으로 하여, 20개의 테스트 볼륨에서 평균 딱시 스코어 92.83%를 달성하며 기존의 2D 및 3D 접근 방식을 능가한다.

ABSTRACT

Accurately segmenting left atrium in MR volume can benefit the ablation procedure of atrial fibrillation. Traditional automated solutions often fail in relieving experts from the labor-intensive manual labeling. In this paper, we propose a deep neural network based solution for automated left atrium segmentation in gadolinium-enhanced MR volumes with promising performance. We firstly argue that, for this volumetric segmentation task, networks in 2D fashion can present great superiorities in time efficiency and segmentation accuracy than networks with 3D fashion. Considering the highly varying shape of atrium and the branchy structure of associated pulmonary veins, we propose to adopt a pyramid module to collect semantic cues in feature maps from multiple scales for fine-grained segmentation. Also, to promote our network in classifying the hard examples, we propose an Online Hard Negative Example Mining strategy to identify voxels in slices with low classification certainties and penalize the wrong predictions on them. Finally, we devise a competitive training scheme to further boost the generalization ability of networks. Extensively verified on 20 testing volumes, our proposed framework achieves an average Dice of 92.83% in segmenting the left atria and pulmonary veins.

연구 동기 및 목표

• 저대비, 고변동성의 GE-MR 볼륨에서 좌심방 및 정맥 분할의 정확성을 높이는 데 도전한다.
• 이러한 부피적 작업에 대해 3D 네트워크보다 2D 네트워크를 우선시하여 정밀도와 효율성을 향상시킨다.
• 다중 척도 특징 학습을 통해 형태의 변동성과 강도의 모호성 존재 하에서 경계 정위치를 향상시킨다.
• 훈련 중 하드 음성 예외 샘플에 집중하여 모델 일반화 능력을 향상시킨다.
• 학습 역학을 향상시키기 위해 경쟁적 훈련 기반의 학습 방식을 통해 성능을 향상시킨다.

제안 방법

• 3D MR 볼륨의 축 방향 슬라이스를 대상으로 하며, 잔차 블록과 계층적 특징 학습을 갖춘 2D U-Net 유사 백본을 사용한다.
• 피라미드 풀링 모듈이 다양한 척도에서 의미 정보를 집약하여 맥락 모델링과 세밀한 분할을 향상시킨다.
• 온라인 하드 음성 예외 샘플링(OHNEM)은 슬라이스 내에서 낮은 신뢰도를 가지는 볼륨을 실시간으로 식별하고, 잘못된 분류에 대해 보상을 줌으로써 경계 학습을 향상시킨다.
• 경쟁적 훈련 기반 학습 방식(CTS)은 다수의 모델이 경쟁적으로 훈련되며, 일반화 능력과 강인성을 향상시킨다.
• 데이터 증강을 사용하여 Adam 옵timizer를 활용해 네트워크를 훈련하며, 후처리 과정에서 작은 고립된 성분을 제거한다.
• 최종 모델은 20개 볼륨 테스트 세트에서 딱시, 재현율, 일치도 및 경계 거리 지표를 사용해 평가된다.

실험 결과

연구 질문

• RQ1 GE-MR 볼륨에서 좌심방 분할에 있어 2D 컨볼루션 네트워크가 3D 네트워크보다 속도와 정확도 측면에서 뛰어나게 작용할 수 있는가?
• RQ2 다중 척도 맥락 집약은 좌심방과 유사한 가지가 많이 갈라지는 복잡한 구조의 정맥 분할에 어떻게 기여하는가?
• RQ3 온라인 하드 예외 샘플링은 모호한 경계 볼륨에서의 학습에 얼마나 기여하는가?
• RQ4 경쟁적 훈련 기반 학습 방식은 표준 훈련 방식을 초월해 모델 일반화 능력을 더욱 향상시킬 수 있는가?
• RQ5 제안된 프레임워크는 다양한 해부학적 변동성과 영상 조건에서 어떻게 성능을 발휘하는가?

주요 결과

• 제안된 프레임워크는 20개 테스트 볼륨에서 평균 딱시 스코어 92.83%를 달성하며, 기준 2D 및 3D 네트워크를 크게 능가한다.
• 온라인 하드 음성 예외 샘플링(OHNEM)의 포함으로 기준 PSPNetD 모델 대비 딱시 스코어가 약 0.6% 향상된다.
• 경쟁적 훈련 기반 학습 방식(CTS3)은 OHNEM 향상 모델 대비 성능을 0.16% 향상시킨다.
• 모델은 해부학적 변동성에 대해 뛰어난 강인성을 보이며, 대부분의 좌심방 및 정맥 표면에서 하우스도르프 거리가 2 mm 이하로 낮게 유지된다.
• 2D 아키텍처는 3D 대비 약 4배 빠른 속도를 보이며, 더 뛰어난 정확도를 유지한다.
• 제거 분석 결과, 피라미드 풀링과 OHNEM은 경계의 불확실성과 형태의 변동성을 다루는 데 핵심적인 구성 요소임을 확인하였다.