[논문 리뷰] Hough-CNN: Deep Learning for Segmentation of Deep Brain Regions in MRI and Ultrasound

Fausto Milletarì, Seyed‐Ahmad Ahmadi외 9명|arXiv (Cornell University)|2016. 01. 26.

Medical Image Segmentation Techniques참고 문헌 41인용 수 31

한 줄 요약

Hough-CNN는 심층 신경망의 가장 깊은 층에서 유도된 특징 표현을 활용하기 위해 컨volutional 신경망과 Hough 투표를 결합함으로써, MRI 및 초음파에서 깊은 뇌 구조물의 다중 영역에 걸친 강인한 세분화를 위한 새로운 딥러닝 프레임워크를 제안한다. 이 방법은 후처리 또는 정합이 필요 없이 고정밀도이고 부드러운 세분화를 달성하며, 전통적인 CNN 및 애틀라스 기반 방법보다 뛰어나게 성능을 발휘한다. 특히 대tral 초음파 영상에서 낮은 대비와 노이즈로 인해 어려운 상황에서도 뛰어난 성능을 보인다.

ABSTRACT

In this work we propose a novel approach to perform segmentation by leveraging the abstraction capabilities of convolutional neural networks (CNNs). Our method is based on Hough voting, a strategy that allows for fully automatic localisation and segmentation of the anatomies of interest. This approach does not only use the CNN classification outcomes, but it also implements voting by exploiting the features produced by the deepest portion of the network. We show that this learning-based segmentation method is robust, multi-region, flexible and can be easily adapted to different modalities. In the attempt to show the capabilities and the behaviour of CNNs when they are applied to medical image analysis, we perform a systematic study of the performances of six different network architectures, conceived according to state-of-the-art criteria, in various situations. We evaluate the impact of both different amount of training data and different data dimensionality (2D, 2.5D and 3D) on the final results. We show results on both MRI and transcranial US volumes depicting respectively 26 regions of the basal ganglia and the midbrain.

연구 동기 및 목표

• 낮은 대비, 노이즈, 해부학적 맥락 부족으로 인해 기존 방법이 어려움을 겪는 MRI 및 초음파에서 깊은 뇌 구조물의 세분화 문제를 해결하기 위해.
• 이미지 정합이 필요 없이 다양한 모odalities에 걸쳐 강인하고 유연하며 확장 가능한 딥러닝 기반의 세분화 방법을 개발하기 위해.
• 한정된 데이터 환경에서 네트워크 아키텍처, 훈련 데이터 크기, 데이터 차원성(2D, 2.5D, 3D)이 세분화 성능에 미치는 영향을 조사하기 위해.
• 사전 정의된 애틀라스나 복잡한 정합에 의존하지 않고 오직 CNN 특징과 Hough 투표만을 사용하여 완전 자동으로 위치 특정 및 세분화를 수행하기 위해.
• 다양한 초음파 스캔 기하학 및 환자별 천골 창문 차이가 있는 환경에서도 일반화 가능한 세분화 성능을 입증하기 위해.

제안 방법

• 이 방법은 각 패치를 훈련된 CNN으로 분류하고, 예측 결과를 Hough 투표를 통해 집계하여 대상 구조물의 위치 및 세분화를 수행하는 패치 기반 다중-애틀라스 접근법을 사용한다.
• Hough 투표는 가장 깊은 컨volutional 레이어의 특징 맵에 적용되며, 공간적 사전 지식과 해부학적 맥락을 암묵적으로 인코딩한다.
• 세분화는 투표 결과를 원본 이미지 공간으로 역투영함으로써 수행되며, 후처리 없이도 매끄럽고 연속적인 윤곽을 생성한다.
• 이 프레임워크는 모달리티에 관계없이, 모달리티 특화된 데이터로 CNN을 재훈련함으로써 다양한 영상 프로토콜에 적응할 수 있다.
• 외부 애틀라스나 정합이 필요 없이 오직 CNN 내부의 특징 표현만을 사용한다.
• 다양한 복잡성과 데이터 유형을 고려하여 성능 평가를 위해 다양한 네트워크 아키텍처(예: 7-5-3, SmallAlex, 3-3-3-3-3-3-3-3)를 평가한다.

실험 결과

연구 질문

• RQ1 Hough-CNN는 표준 박스와 기반 CNN과 비교해 MRI 및 초음파에서 깊은 뇌 영역의 세분화 성능이 어떻게 되는가?
• RQ2 낮은 대비, 노이즈가 있는 초음파와 더 높은 대비를 보이는 MRI에서 네트워크 아키텍처의 복잡성이 세분화 정확도에 어떤 영향을 미치는가?
• RQ3 다양한 데이터 모달리티(2D, 2.5D, 3D)가 세분화 성능에 미치는 영향은 무엇이며, 특히 중뇌 식별에 축면 평면만 진단적으로 유용한 초음파에서는 어떠한가?
• RQ4 Hough-CNN는 정합이 필요 없이 다양한 초음파 스캔 기하학 및 환자별 천골 창문 차이가 있는 환경에서도 강인하고 일반화 가능한 세분화를 달성할 수 있는가?
• RQ5 이 방법은 얼마나 큰 레이블이 부여된 데이터셋에 의존하는 것을 줄이고, 후처리 또는 애틀라스 정합을 피할 수 있는가?

주요 결과

• Hough-CNN는 모든 파rameter 설정에서 표준 박스와 기반 CNN보다 뛰어난 성능을 보였으며, 후처리 없이도 더 매끄럽고 정확한 세분화를 제공했다.
• MRI에서는 간단한 7-5-3 네트워크가 가장 좋은 결과를 냈고, 초음파에서는 복잡한 시각 패턴을 처리해야 하므로 더 깊은 네트워크인 3-3-3-3-3-3-3-3 및 SmallAlex가 가장 우수한 성능을 보였다.
• 3D 데이터는 MRI 세분화 성능을 향상시켰지만, 전문가들이 중뇌 식별에 축면 평면만 사용하기 때문에 초음파 결과는 악화시켰다.
• MRI에서는 큰, 고대비 영역에서 높은 Dice 계수를 달성했고, 작은, 저대비 영역에서는 서브바이크 평균 표면 거리가 높았다.
• 3D 경두개 초음파에서 Hough-CNN는 20명 이상의 환자에서 114개의 볼륨에 걸쳐 다양한 스캔 기하학성과 영상 품질을 고려하여 강인한 중뇌 세분화를 달성했다.
• 이 방법은 애틀라스 기반 접근법보다 훨씬 빠르며(초음파 30초, MRI 3–4분), 완전히 정합이 필요 없어 정합이 실패하는 임상적 초음파 환경에 적합하다.