[논문 리뷰] Extracting 3D Vascular Structures from Microscopy Images using Convolutional Recurrent Networks

Russell Bates, Benjamin Irving외 5명|arXiv (Cornell University)|2017. 05. 26.

Medical Image Segmentation Techniques참고 문헌 18인용 수 14

한 줄 요약

이 논문은 2D 혈관 중심선 예측을 위한 U-Net과 이방성 현미경 영상에서 3D 혈관 구조를 재구성하기 위한 ConvLSTM을 사용하는 하이브리드 2D-3D 딥 러닝 프레임워크를 제안한다. 이 방법은 직접 뼈대 표현을 학습하여 3D CNN과 2D 기반 모델을 능가하며, 평균 뼈대 거리 오차 5.31 µm을 달성하고 밀집된 혈관의 분리 성능을 향상시킨다.

ABSTRACT

Vasculature is known to be of key biological significance, especially in the study of cancer. As such, considerable effort has been focused on the automated measurement and analysis of vasculature in medical and pre-clinical images. In tumors in particular, the vascular networks may be extremely irregular and the appearance of the individual vessels may not conform to classical descriptions of vascular appearance. Typically, vessels are extracted by either a segmentation and thinning pipeline, or by direct tracking. Neither of these methods are well suited to microscopy images of tumor vasculature. In order to address this we propose a method to directly extract a medial representation of the vessels using Convolutional Neural Networks. We then show that these two-dimensional centerlines can be meaningfully extended into 3D in anisotropic and complex microscopy images using the recently popularized Convolutional Long Short-Term Memory units (ConvLSTM). We demonstrate the effectiveness of this hybrid convolutional-recurrent architecture over both 2D and 3D convolutional comparators.

연구 동기 및 목표

• 암 혈관의 매우 이방성이고 저z해상도의 현미경 영상에서 3D 혈관 구조를 추출하는 데 도전하는 것.
• 밀집된 또는 비정상적인 혈류가 있는 암 혈관에서 실패하는 전통적인 세분화-박스화 파이프라인의 한계를 극복하는 것.
• 혈류나 대조제 존재 여부와 무관하게 직접 혈관 뼈대를 추출하는 방법을 개발하는 것.
• 완전한 3D 컨볼루션을 사용하지 않고도 3D 컨텍스트를 활용하여 3D 혈관 구조 복원을 향상시키고 모델 복잡도를 감소시키는 것.
• 2D와 3D CNN 모두보다 뼈대 복원 정확도에서 뛰어난 성능을 보이는 하이브리드 2D-3D 아키텍처(ConvlSTM 사용)가 가능함을 입증하는 것.

제안 방법

• 이중 평면에서의 특징 추출을 위해 2D 축 방향 슬라이스를 사용하는 U-Net 기반 인코더-디코더 네트워크를 훈련하여 이진 교차 엔트로피와 Dice 손실 함수를 사용해 혈관 중심선(뼈대)을 예측한다.
• U-Net 위에 ConvLSTM 레이어를 스택하여 인접한 z-슬라이스 간의 순차적 의존성을 모델링함으로써 2D 예측에서 3D 구조를 재구성할 수 있도록 한다.
• 예측된 뼈대 점과 진짜 뼈대 점 간의 3D 공간 거리를 최소화하도록 네트워크를 종합적으로 훈련한다.
• 네트워크는 평면 내 특징 추출을 위해 2D 컨볼루션을 사용하고, 상하좌우 간의 컨텍스트를 효율적으로 모델링하기 위해 ConvLSTM를 통해 3D 컨볼루션을 구현한다.
• 주 최적화 목표로 가중 이진 교차 엔트로피 손실을 사용하고, 비교 기준으로 Dice 기반 손실을 사용한다.
• 완전한 3D 컨볼루션을 회피함으로써 파rameter 수와 계산 비용을 감소시키면서도 3D 구조 인식 능력을 유지한다.

실험 결과

연구 질문

• RQ1 2D U-Net에 3D 순환 모듈(ConvlSTM)을 결합한 아키텍처가 이방성 현미경 데이터에서 3D 혈관 뼈대를 효과적으로 재구성할 수 있는가?
• RQ2 직접 혈관 뼈대를 학습하는 방법이 밀집하고 비정상적인 암 혈관에서 기존의 세분화-박스화 파이프라인을 능가하는가?
• RQ3 하이브리드 2D-3D 아키텍처가 완전한 3D U-Net에 비해 뼈대 정확도와 모델 복잡도 측면에서 어떻게 비교되는가?
• RQ4 희박한 뼈대 유사 진짜 레이블에서 훈련할 때 가장 효과적인 손실 함수는 무엇인가?
• RQ5 경량 2D+ConvlSTM 모델이 작은 생물의학 데이터셋에서 과적합을 피하면서 효과적으로 일반화될 수 있는가?

주요 결과

• U-Net2D+ConvLSTM (S) 버전이 가장 낮은 뼈대 거리 오차 5.31 µm를 기록하여 3D U-Net(7.53 µm)과 2D U-Net(6.53 µm)을 모두 능가했다.
• U-Net2D+ConvLSTM (S)는 99%의 노드 커버리지를 달성하여 2D U-Net(98%)와 3D U-Net(92%)보다 뚜렷하게 뛰어났다.
• 가중 이진 교차 엔트로피 손실이 가장 좋은 성능을 냈고, Dice 기반 손실은 희박한 뼈대에 대해 의미 있는 표현을 학습하지 못했다.
• 단일 ConvLSTM 레이어 추가로 모델 파라미터 수가 약 30% 증가했지만, 3D 컨볼루션의 계산 부담 없이도 3D 구조 학습이 가능했다.
• 얕은 U-Net2D+ConvLSTM 버전이 개선된 성능을 보였는데, 이는 작은 데이터셋에서의 일반화 능력 향상 덕분일 가능성이 높다.
• 정성적 결과에서 2D U-Net은 고밀도 영역에서 부적절한 연결을 생성한 반면, 2D+ConvLSTM 모델은 3D에서 분리된 비연결 혈관을 정확히 식별했다.