[논문 리뷰] Towards Label-Free 3D Segmentation of Optical Coherence Tomography Images of the Optic Nerve Head Using Deep Learning

Sripad Krishna Devalla, Tan Hung Pham외 17명|arXiv (Cornell University)|2020. 01. 01.

Retinal Imaging and Analysis참고 문헌 71인용 수 4

한 줄 요약

이 논문은 광학 간섭 단층촬영(OCT) 영상에서 시신경두조직의 3차원 분할을 위한 레이블 없고 장치에 관계없는 딥러닝 프레임워크를 제안한다. 두 단계의 접근 방식을 통해 먼저 세 대의 다른 OCT 장치에서 이미지 품질을 향상시키는 장치별로 특화된 향상 네트워크를 적용하고, 그 다음 한 장치에서 학습된 분할 네트워크(ONH-Net)를 이용해 나머지 두 장치에서 정확하게 조직을 분할한다. 이 방법은 수동 분할이 필요 없이 높은 딱도 점수(>0.92)를 달성하여, 새로운 장치에 적용할 때도 광범위한 임상적 적용이 가능하다.

ABSTRACT

Recently proposed deep learning (DL) algorithms for the segmentation of optical coherence tomography (OCT) images to quantify the morphological changes to the optic nerve head (ONH) tissues during glaucoma have limited clinical adoption due to their device specific nature and the difficulty in preparing manual segmentations (training data). We propose a DL-based 3D segmentation framework that is easily translatable across OCT devices in a label-free manner (i.e. without the need to manually re-segment data for each device). Specifically, we developed 2 sets of DL networks: the 'enhancer' (enhance OCT image quality and harmonize image characteristics from 3 devices) and the 'ONH-Net' (3D segmentation of 6 ONH tissues). We found that only when the 'enhancer' was used to preprocess the OCT images, the 'ONH-Net' trained on any of the 3 devices successfully segmented ONH tissues from the other two unseen devices with high performance (Dice coefficients > 0.92). We demonstrate that is possible to automatically segment OCT images from new devices without ever needing manual segmentation data from them.

연구 동기 및 목표

• OCT 기반 녹내장 분할에서 장치에 특화된 딥러닝 모델의 임상적 제약을 해결하기 위해.
• 새로운 OCT 장치에 모델을 구현할 때 수동 분할 애너테이션의 필요성을 제거하기 위해.
• 재학습 시 레이블 데이터 없이도 3차원 분할의 교차 장치 일반화를 가능하게 하는 프레임워크를 개발하기 위해.
• 다양한 OCT 스캐너를 사용하는 녹내장 관리에서 딥러닝 도구의 임상적 적용 가능성을 높이기 위해.

제안 방법

• 두 단계의 딥러닝 프레임워크를 제안한다: 이미지 향상 네트워크와 3D 분할 네트워크(ONH-Net).
• 향상 네트워크는 세 대의 다른 OCT 장치에서 온 레이블이 없는 OCT 볼륨을 사용해 품질 향상(대trast, 스펙클 노이즈 등)을 위해 훈련된다.
• ONH-Net은 오직 한 장치의 데이터에서만 훈련되지만, 다른 장치에서 향상된 이미지를 활용해 교차 장치 분할을 달성한다.
• 향상 네트워크는 장치 간 일관된 이미지 품질을 확보하여 ONH-Net이 레이블이 있는 새로운 장치 데이터로 재학습 없이도 일반화할 수 있도록 한다.
• 프레임워크는 각 새로운 장치에 대해 100개의 레이블이 없는 볼륨만 사용해 향상 네트워크를 재학습하여 시간이 오래 걸리는 수동 분할이 필요 없도록 한다.
• 이 방법은 전이 학습과 다릅니다. 분할 네트워크와 향상 네트워크는 독립적으로 학습되며, 향상 네트워크는 ONH-Net과 지식을 공유하지 않고 일반화를 가능하게 한다.

실험 결과

연구 질문

• RQ1 레이블이 없는 딥러닝 기반 3차원 분할 프레임워크가 각 장치에 대해 수동 분할이 필요 없이 여러 대의 OCT 장치에서 높은 성능을 달성할 수 있는가?
• RQ2 장치별로 특화된 이미지 향상 네트워크가 3차원 분할 네트워크의 교차 장치 일반화에 얼마나 효과적인가?
• RQ3 다양한 OCT 장치에서 향상된 이미지를 사용할 경우 원본 이미지 대비 분할 정확도와 강건성이 향상되는가?
• RQ4 이 프레임워크는 특히 라미나 크리브로사와 같은 녹내장 관련 핵심 구조에 대해 다양한 OCT 스캐너 간 분할 일관성을 어느 정도 유지하는가?
• RQ5 이 레이블이 없는 접근 방식은 이질적인 OCT 장비를 갖춘 임상 환경에서 딥러닝 모델을 구현하는 데 소요되는 시간과 비용을 줄일 수 있는가?

주요 결과

• 제안된 프레임워크는 세 대의 OCT 장치에서 모두 시신경두 조직의 여섯 층에 대해 평균 딱도 계수 0.92 이상을 달성하여 높은 분할 정확도를 입증했다.
• 한 장치에서 학습된 ONH-Net은 다른 두 장치에서의 조직 분할 성능에 유의미한 차이 없이 성공적으로 수행되었으며(p > 0.05), 장치 독립성을 확인했다.
• 이미지 향상 네트워크가 교차 장치 성능을 위해 필수적이었으며, 이 네트워크 없이 분할 정확도가 크게 떨어졌다.
• 이 프레임워크는 각 장치당 100개의 레이블이 없는 볼륨만으로 새로운 OCT 장치에서 자동 분할을 가능하게 하여 수동 애너테이션의 필요성을 제거했다.
• 분할 성능는 장치 간에 유의미한 차이 없이 임상적으로 신뢰할 수 있는 수준을 유지했으며, 훈련 장치에 관계없이 딱도 점수에 유의미한 차이가 없었다.
• 훈련 장치 간 라미나 크리브로사의 곡률과 두께에 약간의 변동이 있었음에도 불구하고, 전체 분할 품질는 임상적으로 수용 가능한 수준이었다.