[논문 리뷰] Automatic kidney segmentation in ultrasound images using subsequent boundary distance regression and pixelwise classification networks

Shi Yin, Qinmu Peng외 6명|arXiv (Cornell University)|2018. 11. 12.

Pediatric Urology and Nephrology Studies참고 문헌 29인용 수 8

한 줄 요약

이 논문은 경계 거리 회귀와 픽셀 단위 분류 네트워크를 조합한 두 단계의 딥러닝 프레임워크를 제안한다. 초음파 영상에서 자동으로 신장 분할을 수행하기 위한 것으로, 사전 훈련된 특징과 형태 기반 데이터 증강 전략을 활용하여, 다양한 신장 형태와 강도 패턴을 가진 도전적인 초음파 영상에서 표준 픽셀 분류 네트워크보다 뛰어난 성능을 달성한다. 이는 분할 정확도를 크게 향상시킨다.

ABSTRACT

It remains challenging to automatically segment kidneys in clinical ultrasound (US) images due to the kidneys' varied shapes and image intensity distributions, although semi-automatic methods have achieved promising performance. In this study, we propose subsequent boundary distance regression and pixel classification networks to segment the kidneys, informed by the fact that the kidney boundaries have relatively homogenous texture patterns across images. Particularly, we first use deep neural networks pre-trained for classification of natural images to extract high-level image features from US images, then these features are used as input to learn kidney boundary distance maps using a boundary distance regression network, and finally the predicted boundary distance maps are classified as kidney pixels or non-kidney pixels using a pixel classification network in an end-to-end learning fashion. We also adopted a data-augmentation method based on kidney shape registration to generate enriched training data from a small number of US images with manually segmented kidney labels. Experimental results have demonstrated that our method could effectively improve the performance of automatic kidney segmentation, significantly better than deep learning-based pixel classification networks.

연구 동기 및 목표

• 변동하는 신장 형태와 강도 분포로 인해 초음파 영상에서 자동으로 신장 분할을 수행하는 데 도전하는 문제를 해결하기 위해.
• 다양한 초음파 영상에서 신장 경계의 구조적 패턴을 활용하여 분할 정확도를 향상시키기 위해.
• 경계 거리 회귀와 픽셀 단위 분류를 종합적으로 통합한 엔드 투 엔드 방식의 딥러닝 프레임워크를 개발하기 위해.
• 제한된 수의 수동으로 분할된 초음파 영상에서, 형태 정렬 기반 데이터 증강 기법을 사용하여 훈련 데이터의 효율성을 높이기 위해.
• 임상적 초음파 데이터셋에서 자동 신장 분할 분야에서 최신 기술 수준의 성능을 달성하기 위해.

제안 방법

• 자연 이미지 분류 작업에서 사전 훈련된 딥 네트워크를 활용하여 초음파 영상에서 고수준 특징을 추출한다.
• 각 픽셀이 신장 경계에서 얼마나 가까운지를 나타내는 거리 맵을 예측하기 위해 경계 거리 회귀 네트워크를 활용한다.
• 예측된 경계 거리 맵을 기반으로 각 픽셀을 신장 또는 비신장으로 분류하는 픽셀 분류 네트워크를 적용한다.
• 두 네트워크를 엔드 투 엔드 학습 방식으로 통합하여 경계 탐지와 픽셀 분류를 함께 최적화한다.
• 소규모 수의 수동으로 분할된 초음파 영상에서부터 다양한 훈련 샘플을 생성하기 위해 신장 형태 정렬 기반의 데이터 증강 방법을 적용한다.
• 정답 신장 분할 결과를 레이블로 사용하여 지도 학습 방식으로 전체 모델을 훈련시킨다.

실험 결과

연구 질문

• RQ1 경계 거리 회귀가 초음파 영상에서 자동 신장 분할의 정확도를 향상시킬 수 있는가?
• RQ2 경계 거리 회귀를 픽셀 단위 분류와 조합하면 기존의 딥러닝 기반 분할 네트워크보다 성능이 뛰어나지는가?
• RQ3 형태 기반 데이터 증강 기법이 제한된 수의 수동 분할 초음파 데이터에서 모델의 일반화 능력을 얼마나 향상시킬 수 있는가?
• RQ4 자연 이미지 분류에서 사전 훈련된 특징이 의료 초음파 영상 분할에 효과적으로 전이될 수 있는가?
• RQ5 제안된 방법은 임상적 초음파 스캔에서 흔히 볼 수 있는 신장 형태의 변동성과 영상 강도 패턴의 변화에 대해 얼마나 강건한가?

주요 결과

• 제안된 방법은 표준 딥러닝 기반 픽셀 분류 네트워크보다 신장 분할 정확도에서 뚜렷한 우월성을 보였다.
• 경계 거리 회귀와 픽셀 분류의 통합은 저대비 또는 노이즈가 있는 영역에서 더 정밀한 경계 국소화를 가능하게 하였다.
• 형태 기반 데이터 증강 기법은 훈련 데이터의 다양성을 효과적으로 증가시켜, 제한된 수의 수동 분할 샘플에도 불구하고 모델의 일반화 능력을 향상시켰다.
• 자연 이미지 분류에서 사전 훈련된 특징의 사용은 초음파 영상에 대한 특징 표현 학습을 향상시켰다.
• 엔드 투 엔드 훈련 전략은 경계 탐지와 분할의 공동 최적화를 가능하게 하여 전체 성능 향상에 기여하였다.
• 이 방법은 임상적 초음파 스캔에서 흔히 볼 수 있는 신장 형태의 변형성과 영상 강도 패턴의 변화에 대해 강력한 내성과 유연성을 보였다.