[論文レビュー] IPN-V2 and OCTA-500: Methodology and Dataset for Retinal Image Segmentation.

Mingchao Li, Yuhan Zhang+5 more|arXiv (Cornell University)|Dec 14, 2020

Retinal Imaging and Analysis参考文献 54被引用数 43

ひとこと要約

本稿では、OCTA画像における網膜血管および中心窩無血管領域（FAZ）のセグメンテーションを向上させるための、平面パーセプトロンを備えた強化された3次元から2次元への画像投影ネットワークであるIPN-V2を提案する。また、500名の被騢者、36万枚以上の画像、多様なラベルを有する、これまでで最大のマルチモodalな網膜画像データセットOCTA-500を紹介する。IPN-V2は、投影画像や網膜層セグメンテーションに依存せずに、セグメンテーション精度を向上させた。

ABSTRACT

Optical coherence tomography angiography (OCTA) is a novel imaging modality that allows a micron-level resolution to present the three-dimensional structure of the retinal vascular. In our previous work, a 3D-to-2D image projection network (IPN) was proposed for retinal vessel (RV) and foveal avascular zone (FAZ) segmentations in OCTA images. One of its advantages is that the segmentation results are directly from the original volumes without using any projection images and retinal layer segmentation. In this work, we propose image projection network V2 (IPN-V2), extending IPN by adding a plane perceptron to enhance the perceptron ability in the horizontal direction. We also propose IPN-V2+, as a supplement of the IPN-V2, by introducing a global retraining process to overcome the checkerboard effect. Besides, we propose a new multi-modality dataset, dubbed OCTA-500. It contains 500 subjects with two field of view (FOV) types, including OCT and OCTA volumes, six types of projections, four types of text labels and two types of pixel-level labels. The dataset contains more than 360K images with a size of about 80GB. To the best of our knowledge, it is currently the largest OCTA dataset with the abundant information. Finally, we perform a thorough evaluation of the performance of IPN-V2 on the OCTA-500 dataset. The experimental results demonstrate that our proposed IPN-V2 performs better than IPN and other deep learning methods in RV segmentation and FAZ segmentation.

研究の動機と目的

• 光学干渉断層撮影血流計測法（OCTA）画像における網膜血管および中心窩無血管領域（FAZ）のセグメンテーション性能を向上させること。
• 従来の3次元から2次元への投影ネットワークの限界を克服し、水平方向の認識を強化し、チェス盤効果などのアーチファクトを低減すること。
• 高度な深層学習研究を支援する包括的でマルチモーダルな網膜画像データセットを構築すること。
• 豊富なラベルと複数の画像モodalを備えた大規模で多様なデータセット上で、提案手法の評価を行うこと。

提案手法

• IPN-V2は、元のIPNを拡張し、3次元ボリュームの水平方向における特徴学習を強化するための平面パーセプトロンを統合している。
• 手法は、中間の投影画像や別個の網膜層セグメンテーションを経由せずに、生のOCTAボリュームから直接エンドツーエンドの3次元から2次元への投影を実行する。
• IPN-V2+は、転置畳み込み層に共通するチェス盤アーチファクトを軽減するためのグローバルな再トレーニングプロセスを組み込んだIPN-V2の改良版である。
• 多スケールの文脈的特徴と空間的アテンションメカニズムを活用することで、複雑な網膜血管構造におけるセグメンテーション精度を向上させている。
• OCTA-500データセットには、2種類の視野タイプ、6種類の投影タイプ、4種類のテキストラベル、OCTおよびOCTAボリュームにおける2種類のピクセルレベルラベルタイプを有する500名の被験者を含む。
• データセットは80GBに及び、36万枚以上の画像を含んでおり、マルチモーダルかつマルチレベルのラベルを備えた、公開済みのOCTAデータセットとして最大規模である。

実験結果

リサーチクエスチョン

• RQ1 水平方向の認識が強化された変更された3次元から2次元への投影ネットワークは、OCTA画像における網膜血管およびFAZのセグメンテーション精度を向上させることができるか？
• RQ2 IPN-V2+にグローバルな再トレーニングプロセスを組み込むことで、セグメンテーション出力におけるチェス盤効果の低減にどのような影響を与えるか？
• RQ3 提案されたIPN-V2手法は、大規模でマルチモーダルな網膜画像データセット上で、既存の深層学習モデルをどの程度上回るか？
• RQ4 OCTA-500データセットの多様性と規模は、強固な網膜セグメンテーションモデルの開発および評価をどの程度支援するか？

主な発見

• IPN-V2は、元のIPNおよび他の最先端の深層学習手法と比較して、網膜血管および中心窩無血管領域の両方において優れたセグメンテーション性能を達成した。
• IPN-V2に平面パーセプトロンを統合することで、水平面における特徴表現が顕著に向上し、より明確なセグメンテーション境界が得られた。
• IPN-V2+におけるグローバルな再トレーニングプロセスは、チェス盤効果を効果的に低減し、滑らかでより正確なセグメンテーションマップを生成した。
• 36万枚以上の画像と豊富なマルチモーダルラベルを備えたOCTA-500データセットは、今後の網膜画像セグメンテーション研究の包括的ベンチマークを提供する。
• 提案手法は、事前セグメンテーションされた網膜層や投影ベースの前処理を必要とせず、多様なOCTAボリュームにおいて優れた汎化性能と頑健性を示した。