[논문 리뷰] Recent Advances in the Applications of Convolutional Neural Networks to Medical Image Contour Detection

Zizhao Zhang, Fuyong Xing외 3명|arXiv (Cornell University)|2017. 08. 24.

Medical Image Segmentation Techniques참고 문헌 197인용 수 11

한 줄 요약

이 논문은 최근에 병변 영상의 윤곽 검출에 컨volutional 신경망(CNNs)을 사용한 발전을 검토하며, 전통적 방법보다 가장자리 및 윤곽 정확도를 향상시키는 엔드 투 엔드 딥 러닝 아키텍처를 강조한다. 엣지 불연속성, 제한된 의료 데이터, 형태 제약 등의 주요 과제를 식별하고, 전이 학습, 다중 척도 특징 융합, 형태 사전을 통해 이를 해결함으로써 임상 영상에서의 분할 성능을 크게 향상시킨다.

ABSTRACT

The fast growing deep learning technologies have become the main solution of many machine learning problems for medical image analysis. Deep convolution neural networks (CNNs), as one of the most important branch of the deep learning family, have been widely investigated for various computer-aided diagnosis tasks including long-term problems and continuously emerging new problems. Image contour detection is a fundamental but challenging task that has been studied for more than four decades. Recently, we have witnessed the significantly improved performance of contour detection thanks to the development of CNNs. Beyond purusing performance in existing natural image benchmarks, contour detection plays a particularly important role in medical image analysis. Segmenting various objects from radiology images or pathology images requires accurate detection of contours. However, some problems, such as discontinuity and shape constraints, are insufficiently studied in CNNs. It is necessary to clarify the challenges to encourage further exploration. The performance of CNN based contour detection relies on the state-of-the-art CNN architectures. Careful investigation of their design principles and motivations is critical and beneficial to contour detection. In this paper, we first review recent development of medical image contour detection and point out the current confronting challenges and problems. We discuss the development of general CNNs and their applications in image contours (or edges) detection. We compare those methods in detail, clarify their strengthens and weaknesses. Then we review their recent applications in medical image analysis and point out limitations, with the goal to light some potential directions in medical image analysis. We expect the paper to cover comprehensive technical ingredients of advanced CNNs to enrich the study in the medical image domain.

연구 동기 및 목표

• 의료 영상에 대한 CNN 기반 윤곽 검출 분야의 최신 기술 상태를 분석하기 위해.
• 의료 영상에서 엣지 불연속성, 레이블이 부족한 데이터, 형태의 일관성 부족 등의 지속적인 과제를 식별하기 위해.
• 딥 러닝 아키텍처와 학습 전략이 윤곽 검출 성능 향상에 미치는 역할를 평가하기 위해.
• 형태 사전, 전이 학습, 다중 척도 특징 학습을 의료 윤곽 검출에 통합하기 위한 기술적 방향을 제안하기 위해.
• 일반 컴퓨터 비전 기술의 발전과 의료 영상 분석 분야에의 적용 간 격차를 메우기 위해.

제안 방법

• 패치 기반 추론 대신 전체 영상 처리를 통해 밀도 있는 픽셀 단위의 윤곽 맵 예측을 위한 엔드 투 엔드 CNN을 활용한다.
• 의료 데이터가 제한되어 있을 경우를 대비해 자연 이미지 데이터셋에서 사전 학습된 CNN을 미세 조정함으로써 전이 학습을 수행한다.
• 얕은 층과 깊은 층을 연결하여 다중 척도 특징 융합을 도입함으로써 가장자리 검출 성능을 향상시키고 세부 정보를 유지한다.
• 손실 함수나 구조적 출력 예측을 통해 형태 사전을 통합하여 윤곽의 연속성을 유지한다.
• 파편화된 윤곽에서 장거리 의존성을 모델링하기 위해 순환 신경망(RNNs)과 고급 메모리 네트워크의 사용을 탐구한다.
• 더 깊은 층에서의 학습 안정성과 특징 학습 향상을 위해 심층 감독 메커니즘을 제안한다.

실험 결과

연구 질문

• RQ1 엔드 투 엔드 CNN은 의료 영상에서 전통적인 패치 기반 방법에 비해 윤곽 검출 성능을 어떻게 향상시키는가?
• RQ2 표준 CNN은 의료 영상에서 불연속적이거나 겹치는 윤곽을 검출할 때 주로 어떤 한계를 지닌다?
• RQ3 자연 이미지 데이터셋에서의 전이 학습은 의료 영상에서 데이터가 적은 상황에서 윤곽 검출 성능을 얼마나 향상시킬 수 있는가?
• RQ4 형태 사전을 CNN 학습에 효과적으로 통합하면 윤곽의 연속성과 해부학적 타당성을 어떻게 향상시킬 수 있는가?
• RQ5 다중 척도 및 스킵 연결 아키텍처는 의료 영상 윤곽 검출에서 미세한 가장자리 세부 정보를 유지하는 데 어떤 역할을 하는가?

주요 결과

• 엔드 투 엔드 CNN은 의료 영상에서 전통적 CNN과 심지어 인간 애너테이터보다 윤곽 검출 정확도에서 뚜렷한 승리를 거두었다.
• 자연 이미지 데이터셋에서의 전이 학습은 의료 데이터가 부족한 상황에서 성능을 향상시키며, 초기 층에서 공유되는 저수준 특징을 활용한다.
• 특히 얕은 층과 깊은 층 간의 스킵 연결을 포함한 다중 척도 특징 융합은 미세한 가장자리 검출 성능을 향상시키고 윤곽의 연속성을 개선한다.
• RNN과 메모리 네트워크는 가장자리 시퀀스의 장거리 의존성을 모델링함으로써 끊어진 또는 불완전한 윤곽을 복원하는 데 잠재력을 보였다.
• 손실 함수나 구조적 출력 레이어에 형태 사전을 통합하면 해부학적 타당성을 유지하고 분할 오차를 줄이는 데 기여한다.
• 진전이 있었음에도 불구하고, 겹치는 세포, 낮은 SNR 영상, 제한된 애너테이션 처리 문제는 여전히 남아 있으며, 약한 지도 학습 및 소수 샘플 학습 분야에서의 추가 연구가 필요하다.