[논문 리뷰] Deep Learning in Medical Ultrasound Image Segmentation: a Review

Ziyang Wang|arXiv (Cornell University)|2020. 02. 18.

Radiomics and Machine Learning in Medical Imaging참고 문헌 36인용 수 18

한 줄 요약

이 리뷰는 의료 초음파 영상 분할을 위한 딥러닝 기법을 여섯 가지 그룹—FCN, 인코더-디코더, RNN, GAN, 약한 지도 학습, 딥 강화 학습—으로系통적으로 분류하며, 대표 모델, 평가 프로토콜, 데이터셋 및 성능에 대한 상세 분석을 제공한다. 2D FCN 및 U-Net 아키텍처의 우세함을 부각하고, 데이터 주석 처리 및 모델 효율성의 과제를 밝히며, 향후 연구 방향으로 3D 분할, 경량 모델, 다중 모odal 학습을 제시한다.

ABSTRACT

Applying machine learning technologies, especially deep learning, into medical image segmentation is being widely studied because of its state-of-the-art performance and results. It can be a key step to provide a reliable basis for clinical diagnosis, such as 3D reconstruction of human tissues, image-guided interventions, image analyzing and visualization. In this review article, deep-learning-based methods for ultrasound image segmentation are categorized into six main groups according to their architectures and training at first. Secondly, for each group, several current representative algorithms are selected, introduced, analyzed and summarized in detail. In addition, common evaluation methods for image segmentation and ultrasound image segmentation datasets are summarized. Further, the performance of the current methods and their evaluations are reviewed. In the end, the challenges and potential research directions for medical ultrasound image segmentation are discussed.

연구 동기 및 목표

• 의료 초음파 영상 분할을 위해 특화된 딥러닝 기법에 대한 종합적이고 최신의 리뷰를 제공하는 것.
• 아키텍처 및 학습 전략에 기반해 기존 딥러닝 기법을 여섯 가지로 분류하는 것.
• 다양한 방법에 걸쳐 공통 평가 지표, 공개 데이터셋 및 보고된 성능를 요약하는 것.
• 데이터 주석 처리, 모델 효율성, 초음파 영상의 이질성과 관련된 주요 과제를 식별하는 것.
• 3D 분할, 경량 모델, 다중 모달 전이 학습과 같은 향후 연구 방향을 제시하는 것.

제안 방법

• 딥러닝 기반 초음파 분할 기법을 여섯 가지 그룹으로 분류: 완전 컨볼루션 네트워크(FCN), 인코더-디코더 네트워크, 순환 신경망(RNN), 생성적 적대적 네트워크(GAN), 약한 지도 학습(WSL), 딥 강화 학습(DRL).
• 각 그룹의 대표 모델을 검토하며, FCN 분야의 CFS-FCN, DF-FCN, DSN-OB; 인코더-디코더 분야의 U-Net 및 그 변종; 특정 작업을 위한 전용 모델인 FickleNet 및 DRL 기반 접근법을 포함한다.
• 스킵 연결, 어텐션 메커니즘, 다중 스케일 특징 융합, 방향 병합 특징 맵을 통한 3D 컨텍스트 통합과 같은 아키텍처 혁신을 분석한다.
• 표준 평가 지표를 사용해 모델을 평가하며, 딥러닝 성능 평가에 사용되는 지표로는 Dice 유사도 계수(DSC), 교차율(Intersection over Union, IOU), 자카르 지수, 정확도를 포함하고, PASCAL VOC 2012, 샤먼, 자동화된 심장 진단 챌린지 등의 공개 데이터셋에서 결과를 보고한다.
• 다단계 점진적 학습, 비지도 도메인 적응, DRL에서의 상호작용 학습 전략을 통해 일반화 능력을 향상시키는 학습 전략을 논의한다.
• 2D 사전 학습 모델을 활용해 횡단면 재조직화 및 3D 특징 융합를 통해 3D 초음파 분할 성능을 향상시키는 방법을 검토한다.

실험 결과

연구 질문

• RQ1 FCN, U-Net, GAN, RNN 등 다양한 딥러닝 아키텍처가 다양한 해부학적 구조에서 의료 초음파 영상 분할에 어떻게 성능을 내는가?
• RQ2 초음파 영상 분할 모델을 검증하기 위해 사용되는 가장 효과적인 평가 지표와 벤치마크 데이터셋은 무엇인가?
• RQ3 현재의 딥러닝 모델이 초음파 분할에서 겪는 주요 제약은 무엇인가, 특히 비용이 많이 드는 픽셀 수준 주석 처리와 모델 효율성 측면에서 말이다.
• RQ4 약한 지도 학습 및 자기지도 학습 접근법은 초음파 영상에서 고비용의 픽셀 수준 주석 처리에 대한 의존도를 어떻게 줄일 수 있는가?
• RQ5 3D 분할, 경량 모델, 다중 모달 학습 등 향후 연구 방향 중 임상적 도입을 촉진하는 데 가장 유망한 것은 무엇인가?

주요 결과

• 초음파 분할을 위한 딥러닝 모델의 약 80퍼센트가 2D 완전 컨볼루션 네트워크 또는 인코더-디코더 아키텍처에 기반하여, 3D 데이터의 가용성에도 불구하고 여전히 2D 접근법에 강한 의존을 보이고 있다.
• DSN-OB 모델은 거시적 및 미세 해상도 주석을 융합하는 데 특화된 피드포워드 레이어를 통해 경계의 모호함을 줄여 혈관 및 병변 분할에서 유망한 성능을 달성했다.
• 방향 병합 FCN(DF-FCN) 모델은 세 방향(수직, 수평, 축 방향)에서의 특징 맵 융합을 통해 3D 컨텍스트 모델링을 향상시켜 카테터 감지 작업에서 정확도를 높였다.
• 경계 상자 또는 선 주석을 사용하는 약한 지도 학습 방법은 중간 수준의 성능을 보였으며, MC 데이터셋에서 IOU 점수는 21.61~24.61, 천수회 회색질 도전 대회에서 DSC는 84.72를 기록했다.
• 딥 강화 학습 방법은 소규모 데이터셋(60장의 영상)에서 전립선 분할 작업에서 높은 성능을 보였으며, 영역 겹침 지수(area overlap)로 0.9096를 달성했다.
• 벤치마크 데이터셋에서 높은 성능를 보였음에도 불구하고, 장기적 깊이, 조직 특성, 검사자 간 변동성으로 인한 초음파 영상의 이질성으로 인해 모델의 일반화 능력이 떨어지는 경우가 많다.