[論文レビュー] Simultaneous Detection and Quantification of Retinal Fluid with Deep Learning

Dustin Morley, Hassan Foroosh+2 more|arXiv (Cornell University)|Aug 17, 2017

Retinal Imaging and Analysis参考文献 1被引用数 13

ひとこと要約

本論文では、ハイブリッドResNetとエンコーダデコーダアーキテクチャを用いて、網膜OCT画像において、網内腔内浮腫（IRF）、網膜下腔内浮腫（SRF）、色素上皮剥離（PED）を同時に検出・定量する深層学習フレームワークを提示する。本手法は、新たなデータ拡張技術「ミオピックワーピング」を採用し、グラフカットとモルフォロジカル操作による後処理を実施し、それぞれIRF、SRF、PEDのDiceスコアが0.522、0.682、0.612に達し、体積差が小さい結果を得た。

ABSTRACT

We propose a new deep learning approach for automatic detection and segmentation of fluid within retinal OCT images. The proposed framework utilizes both ResNet and Encoder-Decoder neural network architectures. When training the network, we apply a novel data augmentation method called myopic warping together with standard rotation-based augmentation to increase the training set size to 45 times the original amount. Finally, the network output is post-processed with an energy minimization algorithm (graph cut) along with a few other knowledge guided morphological operations to finalize the segmentation process. Based on OCT imaging data and its ground truth from the RETOUCH challenge, the proposed system achieves dice indices of 0.522, 0.682, and 0.612, and average absolute volume differences of 0.285, 0.115, and 0.156 mm$^3$ for intaretinal fluid, subretinal fluid, and pigment epithelial detachment respectively.

研究の動機と目的

• OCT画像における網内腔内浮腫（IRF）、網膜下腔内浮腫（SRF）、色素上皮剥離（PED）の3種類の網膜浮腫を同時に検出・定量する自動化された深層学習システムの開発。
• 回転ベースの拡張に加え、新規のデータ拡張法「ミオピックワーピング」を用いて、トレーニングデータの多様性を向上させ、モデルの汎化性能を向上させること。
• エネルギー最小化（グラフカット）と知識を反映したモルフォロジカル操作を後処理パイプラインに統合することで、セグメンテーション精度を向上させること。
• 特にIRFに関して参照基準に一貫性の欠如が見られるが、RETOUCHチャレンジデータセット上で性能を評価すること。

提案手法

• フレームワークは、ResNetとエンコーダデコーダアーキテクチャを統合した深層畳み込みニューラルネットワーク（CNN）を用い、OCTスライスの各画素を4つのクラス（IRF、SRF、PED、バックグラウンド）に分類する。
• 網膜の湾曲を模倣するために、中心点から逆2乗力場を適用して画像を変形する「ミオピックワーピング」という新規なデータ拡張戦略を導入し、力の強さと中心位置のパラメータを調整可能にしている。
• 回転拡張（±8°を2°刻みで）とミオピックワーピングを組み合わせることで、有効なトレーニングデータセットサイズを45倍に拡大した。
• ワーピングによるゼロパディング領域は、バックグラウンドパッチからの強度プロファイルを用いて埋められ、人工的なエッジを避けるために正規分布からのブロックワイドサンプリングが採用された。
• 後処理では、yz平面スライスに対して3次元グラフカットアルゴリズムを適用し、空間的一致性を強制する。予測ラベルにはデータコストをゼロ、他のラベルには定数を設定し、滑らかさコストはDoGフィルタに基づく。
• グラフカット処理後に最終的なセグメンテーションボリュームを再構築し、元の寸法に切り戻した後、最終出力に対してボリューム計算を実施した。

実験結果

リサーチクエスチョン

• RQ1 事前に網膜層のセグメンテーションに依存せずに、深層学習モデルがOCT画像において複数の網膜浮腫タイプを同時に検出・定量できるか？
• RQ2 提案されたミオピックワーピング拡張技術は、限られたトレーニングデータにおいてモデルの汎化性能と性能向上にどの程度効果的か？
• RQ3 グラフカットとモルフォロジカル操作を用いた後処理は、生のCNN出力に比べてセグメンテーション精度をどの程度向上させるか？
• RQ4 異なるOCTスキャナータイプ（Zeiss、Heidelberg、Topcon）におけるモデル性能はどのように変動するか。特に、参照基準に一貫性の欠如があることに鑑みて。
• RQ5 IRFに関して特に参照基準の不確実性が知られているにもかかわらず、モデルの性能は安定しているか。特に、一部のケースでモデル出力が正解よりも正確である事例も観察された。

主な発見

• 全デバイスにわたり、網内腔内浮腫（IRF）のDiceインデックスは0.522、網膜下腔内浮腫（SRF）は0.682、色素上皮剥離（PED）は0.612を達成した。
• 平均絶対体積差（AVD）は、IRFで0.285 mm³、SRFで0.115 mm³、PEDで0.156 mm³であり、高い体積精度を示した。
• SRFおよびPEDに関しては、ZeissおよびHeidelbergデバイスでは顕著に高い性能を示したが、TopconではDiceスコアが0.483に低下し、AVDが0.222 ± 0.470 mm³と高くなった。
• 特にIRFに関しては参照基準の不確実性が知られてはいたが、モデルは強力な性能を示し、一部のケースではモデル出力が正解よりも正確であった。
• 網膜層のセグメンテーションを必要としない状態で最先端の性能を達成したため、浮腫セグメンテーションにおいてこのような前処理が必ずしも必須ではない可能性を示唆した。
• ミオピックワーピングと回転ベースの拡張を組み合わせることで、トレーニングデータの多様性が効果的に向上し、汎化性能と耐障害性の向上に寄与した。