[논문 리뷰] MSU-Net: Multiscale Statistical U-Net for Real-time 3D Cardiac MRI Video Segmentation

Tianchen Wang, Jinjun Xiong외 6명|arXiv (Cornell University)|2019. 09. 15.

Advanced Neural Network Applications참고 문헌 12인용 수 14

한 줄 요약

MSU-Net는 입력 데이터를 ICA를 통해 다중 척도 표준형 분포로 모델링하여 실시간 3D 심장 MRI 영상 분할을 위한 다중 척도 통계적 U-Net을 제안한다. 이로 인해 공간-시간 상관관계를 유지하면서도 병렬 처리가 가능해져, 기존 U-Net 대비 최대 268%의 속도 향상과 1.6% 향상된 Dice 점수를 달성하였으며, GridNet 대비 237%의 속도 향상과 3.6% 향상된 성능을 기록하였다.

ABSTRACT

Cardiac magnetic resonance imaging (MRI) is an essential tool for MRI-guided surgery and real-time intervention. The MRI videos are expected to be segmented on-the-fly in real practice. However, existing segmentation methods would suffer from drastic accuracy loss when modified for speedup. In this work, we propose Multiscale Statistical U-Net (MSU-Net) for real-time 3D MRI video segmentation in cardiac surgical guidance. Our idea is to model the input samples as multiscale canonical form distributions for speedup, while the spatio-temporal correlation is still fully utilized. A parallel statistical U-Net is then designed to efficiently process these distributions. The fast data sampling and efficient parallel structure of MSU-Net endorse the fast and accurate inference. Compared with vanilla U-Net and a modified state-of-the-art method GridNet, our method achieves up to 268% and 237% speedup with 1.6% and 3.6% increased Dice scores.

연구 동기 및 목표

• MRI 유도 수술에 필요한 실시간 3D 심장 MRI 영상 분할에 도전하는 데 목적이 있다.
• 기존 심장 MRI를 위한 딥러닝 분할 방법에서 속도와 정확도 간의 상충 관계를 극복하는 데 목적이 있다.
• 고정밀도 분할 정확도를 유지하면서도 실시간 추론(≥30 FPS)을 달성하는 경량이고 효율적인 아키텍처를 개발하는 데 목적이 있다.
• 성능을 희생시키지 않은 채 공간-시간 상관관계를 효율적으로 모델링하기 위해 통계 분포를 활용하는 데 목적이 있다.
• 실시간 심장 수술 가이던스에 적합한 임상 현장에서의 즉각적 분할을 가능하게 하는 데 목적이 있다.

제안 방법

• 공간-시간 패치에 대해 독립성 성분 분석(ICA)을 적용하여 3D MRI 영상 프레임을 다중 척도 표준형 분포로 모델링한다.
• 다양한 공간적 및 시간적 척도에서 겹치는 패치에 ICA를 적용하여 다중 척도 분포를 추출함으로써 다중 척도 공간-시간 상관관계를 유지한다.
• 각각 다른 척도의 표준형 분포를 처리하는 다중 경량 인코더-디코더 브랜치를 가진 병렬 통계적 U-Net 아키텍처를 설계한다.
• 분포 성질을 네트워크 전반에 걸쳐 유지하는 표준형 연산(가중 평균 및 최댓값)을 활용하여 효율적인 미분 가능한 추론을 가능하게 한다.
• 계수화된 통계 분포(평균, 독립 성분, 노이즈)를 네트워크 입력으로 사용하여 결정론적 텐서 대비 계산 부담을 감소시킨다.
• 표준 CNN 학습 절차에 최소한의 수정을 가하여 표준 백프로파게이션을 사용해 네트워크를 학습시킨다.

실험 결과

연구 질문

• RQ1 3D 심장 MRI 영상 분할을 다중 척도 표준형 분포로 모델링할 경우, 분할 정확도를 저하시키지 않고 추론 속도를 향상시킬 수 있는가?
• RQ2 제안된 병렬 통계적 U-Net 아키텍처는 실시간 3D MRI 분할에서 표준 U-Net 및 GridNet 대비 속도와 정확도 측면에서 어떻게 비교되는가?
• RQ3 다중 척도 데이터 샘플링이 정확한 심장 구조 분할에 필수적인 공간-시간 상관관계를 얼마나 잘 유지할 수 있는가?
• RQ4 실시간 요구사항(≥30 FPS)을 충족하기 위해 상당한 속도 향상을 이룰 수 있는 통계적 U-Net이 고정밀도 Dice 점수를 유지할 수 있는가?
• RQ5 제안된 프레임워크에서 시간적 맥락 길이(T5 대비 T10)와 분할 정확도 사이의 최적 균형은 무엇인가?

주요 결과

• MSU-Net (T10)는 평균 70.2 FPS를 기록하여 가장 정확도가 높은 베이스라인인 GridNet(15.7 FPS) 대비 2.75배 빠른 속도 향상을 달성했으며, 평균 Dice 점수는 0.028% 감소에 그쳤다.
• MSU-Net (T5)는 43.2 FPS를 기록했고, 표준 형태의 U-Net(0.846) 대비 1.6% 높은 평균 Dice 점수(0.862)를 기록하였다. 이는 U-Net가 표준 형태에서 더 빠른 것으로 알려져 있음에도 불구하고 성능 향상을 의미한다.
• 얕은 U-Net 변종(D3+IF16 및 D3+IF8)은 각각 33.2 FPS 및 43.2 FPS를 기록했지만, 심각한 정확도 저하(각각 Dice 점수 0.690 및 0.662)를 겪었으며, 이는 속도와 정확도 간의 상충관계를 확인한다.
• MSU-Net (T10)는 기존 U-Net 대비 268%의 속도 향상과 1.6% 높은 Dice 점수를 기록하여 효율-정확도 균형 측면에서 뛰어난 성능을 입증하였다.
• MSU-Net (T5)는 GridNet(D3+IF32) 대비 237%의 속도 향상과 3.6% 높은 Dice 점수를 기록하여, 비교된 모든 방법 중 가장 빠르고 정확한 방법으로서의 입지를 확립하였다.
• 시각적 결과는 기저, 중간, 심장 꼬리부위 단면에서 LV 및 MYO의 정확한 경계 구분을 보였으며, 경계가 모호한 점으로 인해 RV의 정확도는 약간 낮았다.