[논문 리뷰] {\Omega}-Net (Omega-Net): Fully Automatic, Multi-View Cardiac MR Detection, Orientation, and Segmentation with Deep Neural Networks

Davis M. Vigneault, Weidi Xie외 3명|arXiv (Cornell University)|2017. 11. 03.

Advanced Neural Network Applications참고 문헌 19인용 수 6

한 줄 요약

Ω-Net는 심장 MRI 영상의 국소화, 표준 방향 전환, 그리고 세 가지 임상적 시야(단축축, 사분류, 이분류)에서의 다중 클래스 분할을 동시에 수행하는 새로운 엔드 투 엔드 딥러닝 아키텍처이다. 초기 분할을 위해 U-Net을 사용하고, 공간 변환 네트워크(STN)를 통해 회전/이동 파라미터를 예측하며, 변환된 이미지에 최종 분할 헤드를 적용하여, HCM 및 건강한 환자에서 가중치 IoU가 0.858인 최신 기술 수준의 성능을 달성하였다. 또한 2017년 ACDC 데이터셋에서 이전 방법들을 능가하였다.

ABSTRACT

Pixelwise segmentation of the left ventricular (LV) myocardium and the four cardiac chambers in 2-D steady state free precession (SSFP) cine sequences is an essential preprocessing step for a wide range of analyses. Variability in contrast, appearance, orientation, and placement of the heart between patients, clinical views, scanners, and protocols makes fully automatic semantic segmentation a notoriously difficult problem. Here, we present ${\Omega}$-Net (Omega-Net): a novel convolutional neural network (CNN) architecture for simultaneous localization, transformation into a canonical orientation, and semantic segmentation. First, an initial segmentation is performed on the input image, second, the features learned during this initial segmentation are used to predict the parameters needed to transform the input image into a canonical orientation, and third, a final segmentation is performed on the transformed image. In this work, ${\Omega}$-Nets of varying depths were trained to detect five foreground classes in any of three clinical views (short axis, SA, four-chamber, 4C, two-chamber, 2C), without prior knowledge of the view being segmented. The architecture was trained on a cohort of patients with hypertrophic cardiomyopathy and healthy control subjects. Network performance as measured by weighted foreground intersection-over-union (IoU) was substantially improved in the best-performing ${\Omega}$- Net compared with U-Net segmentation without localization or orientation. In addition, {\Omega}-Net was retrained from scratch on the 2017 MICCAI ACDC dataset, and achieves state-of-the-art results on the LV and RV bloodpools, and performed slightly worse in segmentation of the LV myocardium. We conclude this architecture represents a substantive advancement over prior approaches, with implications for biomedical image segmentation more generally.

연구 동기 및 목표

• 다양한 임상적 시야에서 심장 MRI 영상의 동시에 국소화, 방향 정규화, 의미 분할을 수행하는 완전 자동 엔드 투 엔드 딥러닝 프레임워크를 개발하기 위해.
• 환자 및 스캐너 간에 심장 해부학적 특징, 방향, 영상 촬영 프로토콜의 높은 변동성에 대응하기 위해.
• 최종 분할 이전에 입력 영상을 표준 방향으로 변환하여 네트워크의 부담을 줄이고 분할 정확도를 향상시키기 위해.
• 초기 분할 및 변환 파라미터와 같은 해석 가능한 중간 출력을 예측함으로써 모델의 투명성을 높이기 위해.
• 개인 HCM/건강 코hort와 공개된 2017년 ACDC 데이터셋에서 아키텍처를 검증하여 강건성과 일반화 능력을 입증하기 위해.

제안 방법

• 네트워크는 계단식 아키텍처를 사용한다: 초기 U-Net이 원시 입력 영상에서 의미 분할을 수행하여 굵은 분할 결과를 생성한다.
• 초기 U-Net의 가장 다운샘플링된(중앙) 레이어에서 추출한 특징을 사용하여 공간 변환 네트워크(STN)를 통해 변환 파라미터(회전 및 이동)를 예측한다.
• 예측된 파라미터를 사용하여 입력 영상이 표준 방향으로 변환되며, 재정렬된 영상 I′ = T(I, M)가 생성된다.
• 스택드 아워글라스 모듈이 재정렬된 영상 I′에서 최종 의미 분할을 수행하여 표준 방향에서 정밀화된 분할 결과 S′를 생성한다.
• 전체 네트워크는 국소화, 변환, 분할 헤드의 공동 최적화를 통해 엔드 투 엔드로 스크래치에서 훈련된다.
• 네트워크는 시야 정보 없이 세 가지 임상적 시야에서 다섯 가지 배경 클래스(LV 심장근육, LV 혈류공간, RV 혈류공간, LA, RA)를 감지하도록 훈련된다.

실험 결과

연구 질문

• RQ1 단일 딥러닝 모델이 다수의 임상적 시야에서 동시에 국소화, 방향 정규화, 다중 클래스 심장 분할을 수행할 수 있는가?
• RQ2 높은 해부학적 및 영상 변동성 조건에서 분할 이전에 심장 MRI 영상을 표준 방향으로 변환하는 것이 분할 정확도를 향상시키는가?
• RQ3 중간 분할 및 공간 변환 예측을 포함한 계단식 아키텍처가 이러한 모듈 없이 표준 U-Net보다 성능을 향상시키는가?
• RQ4 이러한 방법은 병적 심장 해부학을 가진 다양한 환자 집단에 대해 어떻게 일반화되는가?
• RQ5 2017년 ACDC 데이터셋에서 이 모델의 성능은 최신 기술 수준의 방법들과 비교하여 어느 정도인가?

주요 결과

• HCM/건강 코hort에서 최고 성능을 보인 Ω-Net는 가중치 IoU가 0.858로, 국소화 또는 방향 보정이 없는 표준 U-Net(0.834)보다 뛰어났다.
• 2017년 ACDC 데이터셋에서 스크래치에서 재훈련한 Ω-Net는 좌심실(LV) 및 우심실(RV) 혈류공간 분할에서 최신 기술 수준의 성능을 달성하였다.
• ACDC 데이터셋에서 LV 심장근육 분할에서는 Ω-Net가 최신 기술 수준의 성능보다 略로 떨어져, 이 클래스에서의 향상 여지가 있음을 시사한다.
• 네트워크는 시야 정보 없이도 세 가지 임상적 시야(단축축, 사분류, 이분류)에서 다섯 가지 심장 구조를 성공적으로 탐지하여 강건한 일반화 능력을 입증하였다.
• 중간 출력인 초기 분할 및 변환 파라미터는 인간이 이해할 수 있는 통찰을 제공하여 딥러닝 모델의 '블랙박스' 성향을 줄였다.
• 이 아키텍처는 다중 시야 및 운동 왜곡이 있는 영상 환경에서의 생물의학 영상 분할 분야에 넓은 적용 잠재력을 보였다.