[論文レビュー] DRDrV3: Complete Lesion Detection in Fundus Images Using Mask R-CNN, Transfer Learning, and LSTM

Farzan Shenavarmasouleh, Farid Ghareh Mohammadi+4 more|arXiv (Cornell University)|Aug 18, 2021

Retinal Imaging and Analysis参考文献 20被引用数 9

ひとこと要約

本稿では、マスクR-CNN、トランスファー学習、LSTMを統合した包括的なディーブラーニングフレームワークであるDRDrV3を提案する。このフレームワークは、スクリーニング用眼底画像における完全な糖尿病網膜症病変の検出を可能にし、同時に病変マスク、バウンディングボックス、病変タイプ（漏出斑、微小動脈瘤）、および全体の病態重症度を検出する。93.47%の精度で重症度分類を達成し、先行手法を上回り、IOU=35におけるmAPは0.4562を達成した。

ABSTRACT

Medical Imaging is one of the growing fields in the world of computer vision. In this study, we aim to address the Diabetic Retinopathy (DR) problem as one of the open challenges in medical imaging. In this research, we propose a new lesion detection architecture, comprising of two sub-modules, which is an optimal solution to detect and find not only the type of lesions caused by DR, their corresponding bounding boxes, and their masks; but also the severity level of the overall case. Aside from traditional accuracy, we also use two popular evaluation criteria to evaluate the outputs of our models, which are intersection over union (IOU) and mean average precision (mAP). We hypothesize that this new solution enables specialists to detect lesions with high confidence and estimate the severity of the damage with high accuracy.

研究の動機と目的

• 眼底画像における病変マスク、バウンディングボックス、病変タイプ、および全体の病態重症度を同時に検出する単一のモデルを開発すること。
• 特徴抽出と分類性能の向上を図るため、LSTMとトランスファー学習を統合することで、先行するDRDrおよびDRDrIIモデルを改善すること。
• 照明、ズーム、解像度のばらつきが大きい眼底画像に対処するため、強固な特徴抽出とトランスファー学習を用いること。
• IOU、mAP、および精度を用いた評価を通じて、臨床的意義と再現可能性を保証すること。
• 診断負担を軽減し、患者の予後を改善するため、早期で自動的な糖尿病網膜症のスクリーニングを可能にすること。

提案手法

• フレームワークは二段階のアプローチを採用する：第一段階では、e-ophthaおよびKaggleデータセットを用い、トランスファー学習を適用したマスクR-CNNを用いて病変マスクとバウンディングボックスを検出する。
• トランスファー学習は、事前学習済みImageNet重みを用いてバックボーンネットワーク（ResNet）を眼底画像の特徴に適応させることで、リソースが限られた環境下でも特徴抽出性能を向上させる。
• 第二段階では、検出された病変からの特徴を処理するLSTMベースの分類器を用い、病態重症度を3クラス（健常：0、中等度：1、重症：2）に分類する。
• 病変レベルの予測（タイプ、位置、マスク）とLSTMによるグローバルな重症度推定を統合することで、エンドツーエンドのインスタンスおよび重症度セグメンテーションを実現する。
• 評価には、IOU閾値35、50、75におけるmAP、マスクとバウンディングボックスの重複度（IOU）、および重症度分類の精度を用いる。
• システムは、2つのデータセット（e-ophtha：手動マスク、および大規模な公開Kaggleデータセット：35,000枚の画像に重症度ラベル付）を用いて学習および検証した。

実験結果

リサーチクエスチョン

• RQ1 包括的なディープラーニングモデルは、眼底画像における病変マスク、バウンディングボックス、病変タイプ、および全体の病態重症度を同時に検出可能か？
• RQ2 マスクR-CNNとトランスファー学習にLSTMを統合することで、先行モデルと比較して重症度分類精度がどのように向上するか？
• RQ3 トランスファー学習は、眼底画像における画像の多様性（照明、ズーム、解像度のばらつき）に起因する性能低下をどれほど緩和できるか？
• RQ4 第二段階の重症度予測に、病変マスクとバウンディングボックスを入力特徴として含めることによる影響は何か？
• RQ5 mAP、IOU、精度といった指標は、自動スクリーニングにおける臨床的有用性とどの程度相関しているか？

主な発見

• IOU閾値35におけるテストmAPは0.4562に達し、病変のバウンディングボックスおよびマスク検出性能が優れていることを示した。
• 病変クラス、バウンディングボックス、マスクを入力特徴として用いた第二段階の重症度分類では、93.47%の精度を達成し、他の設定を上回った。
• 最も優れた性能を示したテスト設定の混同行列では、クラス0（健常）が2,880件の真陽性、クラス1（中等度）が771件、クラス2（重症）が87件を記録し、高い特異度と感度を示した。
• IOU=50におけるmAPは0.4370、IOU=75では0.2071であった。これは、より厳しい重複閾値でもモデルの頑健性が保たれていることを示している。
• LSTMとマスクR-CNN、トランスファー学習の統合により、前回のDRDrIIモデルと比較して重症度分類精度が向上した。
• 大規模なKaggleデータセット（35,000枚の画像）の使用により、過学習を防止し、多様な眼底画像条件下でも結果の再現性が確保された。