[논문 리뷰] IPN-V2 and OCTA-500: Methodology and Dataset for Retinal Image Segmentation.

Mingchao Li, Yuhan Zhang외 5명|arXiv (Cornell University)|2020. 12. 14.

Retinal Imaging and Analysis참고 문헌 54인용 수 43

한 줄 요약

이 논문은 3D에서 2D로의 이미지 투영 네트워크인 IPN-V2를 제안하며, OCTA 영상에서 망막 혈관 및 중심망막비혈류부위(FAZ) 분할을 향상시키기 위해 평면 퍼셉트론을 통합하였다. 또한, 500명의 환자, 36만 장 이상의 이미지, 다양한 레이블을 포함한 현재까지 가장 큰 다중모odal 망막 영상 데이터셋인 OCTA-500을 소개한다. IPN-V2는 투영 영상이나 망막 층 분할에 의존하지 않으며, 이전 방법들보다 분할 정확도에서 뛰어난 성능을 보였다.

ABSTRACT

Optical coherence tomography angiography (OCTA) is a novel imaging modality that allows a micron-level resolution to present the three-dimensional structure of the retinal vascular. In our previous work, a 3D-to-2D image projection network (IPN) was proposed for retinal vessel (RV) and foveal avascular zone (FAZ) segmentations in OCTA images. One of its advantages is that the segmentation results are directly from the original volumes without using any projection images and retinal layer segmentation. In this work, we propose image projection network V2 (IPN-V2), extending IPN by adding a plane perceptron to enhance the perceptron ability in the horizontal direction. We also propose IPN-V2+, as a supplement of the IPN-V2, by introducing a global retraining process to overcome the checkerboard effect. Besides, we propose a new multi-modality dataset, dubbed OCTA-500. It contains 500 subjects with two field of view (FOV) types, including OCT and OCTA volumes, six types of projections, four types of text labels and two types of pixel-level labels. The dataset contains more than 360K images with a size of about 80GB. To the best of our knowledge, it is currently the largest OCTA dataset with the abundant information. Finally, we perform a thorough evaluation of the performance of IPN-V2 on the OCTA-500 dataset. The experimental results demonstrate that our proposed IPN-V2 performs better than IPN and other deep learning methods in RV segmentation and FAZ segmentation.

연구 동기 및 목표

• 광학 간섭단층촬영 혈관영상(OCTA) 영상에서 망막 혈관 및 중심망막비혈류부위(FAZ) 분할 성능을 향상시키는 것.
• 이전의 3D에서 2D로의 투영 네트워크의 한계를 해결하기 위해 수평 방향 인식 능력을 향상시키고, 셰이크보드 효과와 같은 아티팩트를 감소시키는 것.
• 고도화된 딥러닝 연구를 지원하기 위해 종합적이고 다중모달 망막 영상 데이터셋을 구축하는 것.
• 풍부한 레이블과 다양한 영상 모odalities를 포함한 대규모이고 다양한 데이터셋에서 제안된 방법을 평가하는 것.

제안 방법

• IPN-V2는 원본 IPN을 개선하여 3D 볼륨의 수평 방향에서 특징 학습 능력을 강화하기 위해 평면 퍼셉트론을 통합하였다.
• 방법은 중간 투영 영상이나 별도의 망막 층 분할 없이, 원시 OCTA 볼륨에서 직접 엔드 투 엔드 3D에서 2D로의 투영을 수행한다.
• IPN-V2+는 IPN-V2의 보완으로 도입되었으며, 전치 컨볼루션 계층에서 흔히 발생하는 셰이크보드 아티팩트를 완화하기 위해 글로벌 재학습 프로세스를 통합하였다.
• 복합적인 망막 혈관 구조에서의 분할 정밀도를 향상시키기 위해 다중스케일의 맥락적 특징과 공간 주의 메커니즘을 활용한다.
• OCTA-500 데이터셋은 2종류의 시야 범위, 6종류의 투영 방식, 4종류의 텍스트 레이블, OCT 및 OCTA 볼륨에서의 2종류의 픽셀 수준 레이블을 포함한다.
• 이 데이터셋은 총 80GB에 달하며, 36만 장 이상의 이미지를 포함하여, 다중모달리티 및 다중레벨 레이블이 있는 현재까지 가장 큰 공개된 OCTA 데이터셋이다.

실험 결과

연구 질문

• RQ1 수평 방향 인식 능력이 향상된 수정된 3D에서 2D로의 투영 네트워크가 OCTA 영상에서 망막 혈관 및 FAZ 분할 정확도를 향상시킬 수 있는가?
• RQ2 IPN-V2+에 글로벌 재학습 프로세스를 포함시킬 경우, 분할 출력에서 셰이크보드 아티팩트가 어떻게 감소하는가?
• RQ3 제안된 IPN-V2 방법이 대규모 다중모달 망막 영상 데이터셋에서 기존의 딥러닝 모델들보다 얼마나 뛰어난 성능을 보이는가?
• RQ4 OCTA-500 데이터셋의 다양성과 규모가 강력한 망막 분할 모델의 개발 및 평가를 어떻게 지원하는가?

주요 결과

• IPN-V2는 원본 IPN 및 다른 최신 딥러닝 방법들보다 망막 혈관과 중심망막비혈류부위 모두에서 뛰어난 분할 성능을 달성하였다.
• IPN-V2에 평면 퍼셉트론을 통합함으로써 수평 평면에서의 특징 표현 능력이 크게 향상되어 분할 경계가 개선되었다.
• IPN-V2+의 글로벌 재학습 프로세스는 셰이크보드 효과를 효과적으로 감소시켜 더 매끄럽고 정확한 분할 맵을 생성하였다.
• 36만 장 이상의 이미지와 풍부한 다중모달 레이블을 포함한 OCTA-500 데이터셋은 향후 망막 영상 분할 연구를 위한 종합적인 기준이 되었다.
• 제안된 방법은 사전에 분할된 망막 층이나 기반 투영 전처리 없이도 다양한 OCTA 볼륨에서 강력한 일반화 및 강인성을 보였다.