[논문 리뷰] Simultaneous Detection and Quantification of Retinal Fluid with Deep Learning

Dustin Morley, Hassan Foroosh외 2명|arXiv (Cornell University)|2017. 08. 17.

Retinal Imaging and Analysis참고 문헌 1인용 수 13

한 줄 요약

이 논문은 하이브리드 ResNet 및 인코더-디코더 아키텍처를 사용하여 망막 OCT 영상에서 망막내부 세포간액(IRF), 망막하 세포간액(SRF), 색소상피세포 박리(PED)를 동시에 검출하고 정량화하는 딥러닝 프레임워크를 제시한다. 이 방법은 '미백 왜곡(myopic warping)'이라고 불리는 새로운 데이터 증강 기법과 그래프 컷 및 형태학적 연산을 통한 후처리를 활용하여, 각각 IRF, SRF, PED에 대해 0.522, 0.682, 0.612의 Dice 스코어를 기록했으며 체적 차이가 매우 작았다.

ABSTRACT

We propose a new deep learning approach for automatic detection and segmentation of fluid within retinal OCT images. The proposed framework utilizes both ResNet and Encoder-Decoder neural network architectures. When training the network, we apply a novel data augmentation method called myopic warping together with standard rotation-based augmentation to increase the training set size to 45 times the original amount. Finally, the network output is post-processed with an energy minimization algorithm (graph cut) along with a few other knowledge guided morphological operations to finalize the segmentation process. Based on OCT imaging data and its ground truth from the RETOUCH challenge, the proposed system achieves dice indices of 0.522, 0.682, and 0.612, and average absolute volume differences of 0.285, 0.115, and 0.156 mm$^3$ for intaretinal fluid, subretinal fluid, and pigment epithelial detachment respectively.

연구 동기 및 목표

• OCT 영상에서 세 가지 유형의 망막세포간액(IRF, SRF, PED)을 동시에 검출하고 정량화하는 자동화된 딥러닝 시스템을 개발하기 위해.
• 기존의 기울기 기반 증강 외에도 '미백 왜곡(myopic warping)'이라고 불리는 새로운 데이터 증강 방법을 통해 훈련 데이터의 다양성을 높이고 모델의 일반화 능력을 향상시키기 위해.
• 에너지 최소화(그래프 컷)와 지식 기반 형태학적 연산을 후처리 파이프라인에 통합하여 분할 정확도를 향상시키기 위해.
• 특히 IRF에 대해 기준값이 일관되지 않은 점을 감안할 때, RETOUCH 챌린지 데이터셋에서 성능을 평가하기 위해.

제안 방법

• 프레임워크는 ResNet과 인코더-디코더 아키텍처를 결합한 깊은 합성곱 신경망(CNN)을 사용하여 OCT 단면 영상의 각 픽셀을 네 가지 클래스(즉, IRF, SRF, PED, 배경) 중 하나로 분류한다.
• 새로운 데이터 증강 전략으로 '미백 왜곡(myopic warping)'이 도입되었으며, 중심점에서의 역제곱 힘장에 의해 영상을 왜곡하여 망막 곡률을 시뮬레이션한다. 힘의 강도와 중심 위치를 조절할 수 있는 조절 가능한 파rameter를 포함한다.
• 표준 기울기 기반 증강(±8° 범위 내 2° 간격)과 함께 미백 왜곡을 결합하여 훈련 세트의 효과적 크기를 45배 증가시켰다.
• 왜곡으로 인해 발생하는 영역은 배경 패치에서 추출한 강도 프로파일을 사용하여 채우며, 인위적인 경계를 방지하기 위해 정규 분포에서 블록 단위로 샘플링한다.
• 후처리 단계에서 3D 그래프 컷 알고리즘을 yz 평면 슬라이스에 적용하여 공간 일관성을 강제로 유지한다. 예측 레이블에 대해 데이터 비용은 0으로 설정하고, 나머지 레이블에 대해 일정한 비용을 사용하며, 스무쓰니스 비용은 DoG 필터 기반으로 계산한다.
• 최종 분할 볼륨은 그래프 컷 후 원래 치수로 복원되고 자르기 후 최종 출력에서 체적 계산을 수행한다.

실험 결과

연구 질문

• RQ1 사전에 망막층 분할을 고려하지 않고도 딥러닝 모델이 OCT 영상에서 여러 종류의 망막세포간액을 동시에 검출하고 정량화할 수 있는가?
• RQ2 제안된 '미백 왜곡(myopic warping)' 증강 기법은 제한된 훈련 데이터에서 모델의 일반화 능력과 성능 향상에 얼마나 효과적인가?
• RQ3 그래프 컷과 형태학적 연산을 통한 후처리가 원시 CNN 출력에 비해 분할 정확도를 얼마나 향상시키는가?
• RQ4 다양한 OCT 스캐너 유형(Zeiss, Heidelberg, Topcon) 간 성능 차이가 어떻게 나타나는가? 특히 기준값이 일관되지 않은 점을 감안할 때.
• RQ5 특히 IRF에 대해 알려진 일관성이 떨어지는 기준값을 사용하고도 모델의 성능이 견고한가?

주요 결과

• 모든 장치에서 망막내부세포간액(IRF)의 Dice 지수는 0.522, 망막하세포간액(SRF)는 0.682, 색소상피세포박리(PED)는 0.612를 기록했다.
• 평균 절대 체적 차이(AVD)는 IRF가 0.285 mm³, SRF가 0.115 mm³, PED가 0.156 mm³로 체적 정확도가 매우 높았다.
• SRF와 PED에 대해 Zeiss 및 Heidelberg 장치에서 성능이 Topcon 장치보다 유의미하게 높았으며, PED의 경우 Topcon에서 Dice 스코어는 0.483로 낮고, AVD는 0.222 ± 0.470 mm³로 높았다.
• 특히 IRF에 대해 알려진 기준값의 일관성이 떨어지는 점을 감안할 때도 모델는 뛰어난 성능을 보였으며, 일부 사례에서는 모델의 출력이 지표보다 더 정확했다.
• 망막층 분할 전처리 없이도 최신 기술 수준의 성능을 달성하여, 이와 같은 전처리 단계가 세포간액 분할에 필수적이지 않을 수 있음을 시사했다.
• 미백 왜곡과 기울기 기반 증강의 조합은 훈련 데이터의 다양성을 효과적으로 증가시켜 일반화 능력과 내구성을 향상시켰다.