[논문 리뷰] Topology guaranteed segmentation of the human retina from OCT using convolutional neural networks

Yufan He, Aaron Carass외 5명|arXiv (Cornell University)|2018. 03. 14.

Retinal Imaging and Analysis참고 문헌 1인용 수 30

한 줄 요약

이 논문은 OCT 영상에서 위상 구조 보장 가능한 망막 층 분할을 달성하기 위해 분할 네트워크(S-Net)와 회귀 네트워크(R-Net)를 연결한 계단식 딥러닝 프레임워크를 제안한다. ReLU 활성화를 사용해 두께를 회귀함으로써 음수가 아닌 두께 예측을 보장함으로써 해부학적으로 올바른 층 순서를 보장하며, 특히 망막 중심부에서 효과적으로 기능한다. 이로 인해 평균 절대 경계 오차 2.82 μm를 기록하며 최신 기술 수준의 정확도를 달성한다.

ABSTRACT

Optical coherence tomography (OCT) is a noninvasive imaging modality which can be used to obtain depth images of the retina. The changing layer thicknesses can thus be quantified by analyzing these OCT images, moreover these changes have been shown to correlate with disease progression in multiple sclerosis. Recent automated retinal layer segmentation tools use machine learning methods to perform pixel-wise labeling and graph methods to guarantee the layer hierarchy or topology. However, graph parameters like distance and smoothness constraints must be experimentally assigned by retinal region and pathology, thus degrading the flexibility and time efficiency of the whole framework. In this paper, we develop cascaded deep networks to provide a topologically correct segmentation of the retinal layers in a single feed forward propagation. The first network (S-Net) performs pixel-wise labeling and the second regression network (R-Net) takes the topologically unconstrained S-Net results and outputs layer thicknesses for each layer and each position. Relu activation is used as the final operation of the R-Net which guarantees non-negativity of the output layer thickness. Since the segmentation boundary position is acquired by summing up the corresponding non-negative layer thicknesses, the layer ordering (i.e., topology) of the reconstructed boundaries is guaranteed even at the fovea where the distances between boundaries can be zero. The R-Net is trained using simulated masks and thus can be generalized to provide topology guaranteed segmentation for other layered structures. This deep network has achieved comparable mean absolute boundary error (2.82 μm) to state-of-the-art graph methods (2.83 μm).

연구 동기 및 목표

• 기존 딥러닝 방법이 자동 분할 과정에서 망막 층의 위상 구조를 유지하는 데 한계를 보이는 문제를 해결하기 위해.
• 위상 강제에 사용되는 수작업으로 조정된 그래프 파라미터가 필요 없도록, 위상 제약 조건을 직접 네트워크 아키텍처에 통합함으로써.
• 두께 회귀를 통해 정확한 층 순서를 보장하는 빠르고 종단 간 딥러닝 프레임워크를 개발하기 위해.
• 시뮬레이션된 마스크로 훈련하여 다른 층 구조를 가진 해부학적 구조로의 일반화를 가능하게 하기 위해.
• 후처리 없이도 위상 정확성을 유지하면서 최신 기술 수준의 분할 정확도를 달성하기 위해.

제안 방법

• 128×128 영상 패치에서 망막 층의 픽셀 단위 레이블링을 수행하는 U-Net 기반의 완전 컨volution 네트워크(S-Net).
• S-Net 출력을 입력으로 받아 각 공간 위치에서 망막 층의 두께를 예측하는 두 번째 U-Net 기반의 회귀 네트워크(R-Net).
• R-Net의 최종 레이어에 ReLU 활성화를 적용하여 음수가 아닌 두께 예측을 강제함으로써 위상 순서를 보장한다.
• 유리체에서 망막의 중심부까지 누적 두께를 합산하여 경계 위치를 재구성함으로써, 특히 중심부에서의 층 계층 구조를 유지한다.
• R-Net은 실제 레이블에 노이즈와 결함을 가해 생성한 시뮬레이션된 분할 마스크로 훈련되어 강건성을 향상시킨다.
• 전처리로 브룩스 막 감지, 망막 평탄화 및 자르기 작업을 수행하며, 전체 B-스캔 분할을 위한 단일 피드포워드 추론이 가능하다.

실험 결과

연구 질문

• RQ1 후처리 그래프 방법과 수작업으로 조정된 파라미터에 의존하지 않고도 딥러닝 프레임워크가 망막 층의 위상 구조를 보장할 수 있는가?
• RQ2 ReLU 활성화를 사용한 두께 회귀가 망막 중심부에서 층 간 거리가 근접하는 상황에서도 해부학적으로 올바른 경계 순서를 보장할 수 있는가?
• RQ3 합성 마스크로 훈련된 회귀 기반 접근 방식이 실제 OCT 스캔으로 일반화되어 고정확도를 유지할 수 있는가?
• RQ4 제안된 계단식 네트워크(S-Net + R-Net)가 최신 기술 수준의 그래프 기반 방법과 비슷하거나 더 높은 정확도를 달성하면서도 더 빠르고 더 민첩한가?
• RQ5 이 프레임워크는 망막을 초월한 다른 층 구조 생물학적 구조로도 확장 가능한가?

주요 결과

• 제안된 S-Net + R-Net 프레임워크는 평균 절대 경계 오차(MAD) 2.82 μm를 기록하여 최신 기술 수준의 RF+Graph 방법(2.83 μm)과 유사한 성능을 보였다.
• 이 방법은 더 낮은 편향 제어를 보였으며, 평균 부호 차이(MSD)가 -0.03 μm(비교 대상인 RF+Graph의 -0.80 μm 대비)로 체계적 오차가 적었다.
• MSD의 95번째 백분율은 제안된 방법에서 -8.17 μm였고, RF+Graph 방법은 -9.08 μm였으며, 이는 외곽치에 대한 더 나은 강건성을 의미한다.
• 전체 분할 시간은 496×1024×49 OCT 볼륨당 10초였으며, RF+Graph 방법이 요구하는 100초보다 훨씬 빠르게 처리되었다.
• S-Net이 낮은 이미지 품질이나 모호한 경계로 인해 잘못된 레이블을 생성하더라도 R-Net이 위상 정확성을 성공적으로 유지하였다.
• 시뮬레이션된 마스크로 쉽게 생성된 데이터로 훈련되었기 때문에, 이 프레임워크는 망막 OCT를 초월한 다른 층 구조로의 일반화가 잘 되어 있으며, 광범위한 적용 가능성을 지닌다.