[論文レビュー] Pathological Retinal Region Segmentation From OCT Images Using Geometric Relation Based Augmentation

Dwarikanath Mahapatra, Behzad Bozorgtabar+2 more|arXiv (Cornell University)|Mar 31, 2020

Retinal Imaging and Analysis参考文献 125被引用数 13

ひとこと要約

本稿では、解剖的構造間の幾何的関係を明示的にモデル化し、潜在空間サンプリングにより多様性を導入する、網膜OCT画像のためのGANベースのデータ拡張手法であるGeoGANを提案する。特に、液体を含む病変領域を現実的に生成することで、RETOUCHデータセットにおけるセグメンテーション性能が著しく向上し、最先端手法を10.4%のDiceスコアおよび5.4 mmのHDで上回った。

ABSTRACT

Medical image segmentation is an important task for computer aided diagnosis. Pixelwise manual annotations of large datasets require high expertise and is time consuming. Conventional data augmentations have limited benefit by not fully representing the underlying distribution of the training set, thus affecting model robustness when tested on images captured from different sources. Prior work leverages synthetic images for data augmentation ignoring the interleaved geometric relationship between different anatomical labels. We propose improvements over previous GAN-based medical image synthesis methods by jointly encoding the intrinsic relationship of geometry and shape. Latent space variable sampling results in diverse generated images from a base image and improves robustness. Given those augmented images generated by our method, we train the segmentation network to enhance the segmentation performance of retinal optical coherence tomography (OCT) images. The proposed method outperforms state-of-the-art segmentation methods on the public RETOUCH dataset having images captured from different acquisition procedures. Ablation studies and visual analysis also demonstrate benefits of integrating geometry and diversity.

研究の動機と目的

• 医用画像における従来のデータ拡張手法の多様性と分布の正確性の不足に取り組む。
• 既存のGANベースの手法が網膜OCT画像における解剖的ラベル間の幾何的関係をモデル化できないという問題を克服する。
• 多様で現実的な合成画像を生成することで、病変領域（DMEやAMDにおける液体蓄積など）のセグメンテーションの頑健性を向上させる。
• 形状、分類、サンプリングの統合的モデリングがセグメンテーション性能と臨床的妥当性を向上させることを示す。
• 正常および病変例の両方の高精細で疾患特異的な合成データを生成することで、限られたアノテーション付きデータセットでも効果的な学習を可能にする。

提案手法

• 画像生成中にセグメンテーションラベル（例：網膜層や液体領域）間の幾何的関係を統合的に符号化する条件付きGAN、GeoGANを提案する。
• 生成画像における解剖的構造とラベル間の空間的関係を保持するため、形状の一貫性損失を導入する。
• 生成画像が正しい疾患クラス（正常対病変）に一致することを保証するため、分類損失を適用する。
• 潜在空間における確率的サンプリングを用いて、1つのベース画像から多様なバリエーションを生成し、データの多様性を向上させる。
• 実画像とGeoGANで生成された画像の組み合わせデータセットを用いてU-Netを訓練することで、一般化性能を向上させる。
• 各構成要素（形状損失、分類損失、サンプリング戦略）の寄与を検証するためのアブレーションスタディを実施する。

実験結果

リサーチクエスチョン

• RQ1 解剖的ラベル間の幾何的関係をモデル化することで、合成OCT画像の現実性と多様性が向上するか？
• RQ2 GANベースのデータ拡張において、形状と分類の両方の監視を組み合わせることで、病変網膜領域のセグメンテーション性能が向上するか？
• RQ3 潜在空間におけるサンプリングによって導入される多様性は、異なる画像取得プロトコル間でのモデル一般化にどのように影響するか？
• RQ4 合成病変画像のみで学習したモデルが、実際の正常画像で学習したモデルよりも病変ケースのテストで優れた性能を示せるか？
• RQ5 正常データと病変データを併用して学習することで、単一のタイプのみを用いる場合と比較して、セグメンテーションの頑健性がどの程度向上するか？

主な発見

• GeoGANはRETOUCHデータセットにおいて最先端のデータ拡張手法を上回り、正常および病変例の混合データセットで学習した場合、Diceスコア0.873、HD 9.2 mmを達成した。
• 正常画像のみで学習した場合、病変テスト画像においてDiceスコア0.856、HD 9.9 mmを達成し、DAGAN（0.781 Dice、14.5 mm HD）およびcGAN（0.802 Dice、13.7 mm HD）を著しく上回った。
• アブレーションスタディにより、形状損失、分類損失、確率的サンプリングのすべての構成要素が不可欠であることが確認され、完全なGeoGANモデルが最良の性能を示した。
• 正常画像での学習と病変画像でのテストにおいて、性能が著しく低下することが判明し、疾患特異的データ拡張の重要性が浮き彫りになった。
• 視覚的分析により、GeoGANで生成された画像が現実的な液体の形態と解剖的構造を保持していることが確認され、眼科医による評価でも高い一致度が得られた。
• 本手法は異なる画像取得プロトコルにわたって良好な一般化性能を示し、合成データ生成による臨床教育およびモデル検証の分野への応用可能性を示した。