[論文レビュー] Modeling and Enhancing Low-quality Retinal Fundus Images

Ziyi Shen, Huazhu Fu+2 more|arXiv (Cornell University)|May 12, 2020

Retinal Imaging and Analysis参考文献 52被引用数 9

ひとこと要約

本稿では、網膜眼底画像の低品質要因（不均一な照明、ぼやけ、アーティファクトなど）を眼科スコープ固有の劣化としてモデル化することで、臨床的要因を考慮した深層学習フレームワークcofe-Netを提案する。本手法は、新規の劣化モデルと二重モジュール（RSAおよびLQA）を用い、低品質要因を抑制するとともに、診断精度を向上させ、血管分離および視神経乳頭/杯検出性能を最大でFスコア10%向上させる。

ABSTRACT

Retinal fundus images are widely used for the clinical screening and diagnosis of eye diseases. However, fundus images captured by operators with various levels of experience have a large variation in quality. Low-quality fundus images increase uncertainty in clinical observation and lead to the risk of misdiagnosis. However, due to the special optical beam of fundus imaging and structure of the retina, natural image enhancement methods cannot be utilized directly to address this. In this paper, we first analyze the ophthalmoscope imaging system and simulate a reliable degradation of major inferior-quality factors, including uneven illumination, image blurring, and artifacts. Then, based on the degradation model, a clinically oriented fundus enhancement network (cofe-Net) is proposed to suppress global degradation factors, while simultaneously preserving anatomical retinal structures and pathological characteristics for clinical observation and analysis. Experiments on both synthetic and real images demonstrate that our algorithm effectively corrects low-quality fundus images without losing retinal details. Moreover, we also show that the fundus correction method can benefit medical image analysis applications, e.g., retinal vessel segmentation and optic disc/cup detection.

研究の動機と目的

• 変動する操作者のスキル、機器、環境的要因に起因する低品質網膜眼底画像の課題に対処し、臨床的診断と自動分析を妨げる要因を解消すること。
• 網膜眼底画像に特有の光学的劣化要因（不均一な照明、ぼやけ、アーティファクトなど）を、眼科スコープ画像化に特化してモデル化すること。
• 血管や視神経乳頭/杯などの重要な解剖学的構造、および微小動脈瘤や出血などの病変特徴を補正中に保持する、臨床的焦点を有する強化ネットワークを開発すること。
• 実画像および合成された劣化画像を用いて、画像強化が血管分離や視神経乳頭/杯検出といった下流の臨床的タスクの性能を向上させることを実証すること。

提案手法

• 光の伝搬障害、画像ぼやけ、網膜アーティファクトを含む眼科スコープ画像化の段階を模擬する物理ベースの劣化モデルを設計する。
• 新規モジュールを備えた深層ニューラルネットワークcofe-Netを提案する。具体的には、解剖学的特徴を保持するための網膜構造活性化（RSA）と、アーティファクトおよび照明問題を抑制するための臨床的低品質活性化（LQA）である。
• 人間の視覚にインspiredされた損失関数を統合し、アーティファクト抑制と構造的忠実性に重点を置くことで、強化画像の視覚的および定量的品質を向上させる。
• 補正マッピングのエンドツーエンド学習を可能にするために、劣化モデルから生成されたペアド合成画像を用いてネットワークを訓練する。
• 視覚的・構造的指標（例：Fスコア、ジャコーデスコア）を訓練中に活用し、臨床的に重要な特徴の保持を優先する。
• 実世界の眼底画像およびベンチマークデータセット（DRIVE、REFUGE）を用いて検証し、実世界の劣化パターンに対しても頑健であることを示す。

実験結果

リサーチクエスチョン

• RQ1 不均一な照明、ぼやけ、アーティファクトといった眼科スコープ固有の劣化要因を、網膜眼底画像強化のために正確にモデル化できるか？
• RQ2 深層学習ベースの強化ネットワークは、網膜画像における低品質アーティファクトを抑制しつつ、血管や視神経乳頭/杯などの重要な解剖学的構造を保持できるか？
• RQ3 画像強化は、血管分離や視神経乳頭/杯検出といった下流の臨床的タスクの性能をどの程度向上させるか？
• RQ4 微小動脈瘤や出血といった小さな病変特徴が、ノイズやアーティファクトと混同されやすい状況でも、強化画像がその可視性を維持できるか？
• RQ5 臨床的関連性および診断的有用性の観点から、一般用途の画像強化技術と比較して、本手法はどのように優れているか？

主な発見

• 提案された劣化モデルは、不均一な照明、ぼやけ、アーティファクトを含む実世界の眼科スコープ画像化劣化を的確にシミュレートでき、リアルな合成データ生成を可能にした。
• cofe-Netは、補正画像における血管分離でFスコア0.890を達成し、Eilertsenら[8]やFuら[27]の最先端手法と比較して1.5–2.5%の向上を示した。
• 視神経乳頭/杯検出のジャコーデスコアは0.863に向上し、ベースラインモデルと比較して1.5–2.0%の増加を示し、構造の明瞭性が向上したことを裏付けた。
• Kaggleデータセットの画像を用いた病変レベルの分析により、微小動脈瘤や出血といった小さな病変特徴が強化画像で保持されていることが確認された。
• 実臨床画像においても補正手法が性能を向上させ、CE-NetおよびM-Netによる正確な分離が可能になったことが、視覚的および定量的比較で示された。
• RSAおよびLQAモジュールは、アーティファクト抑制と構造保持のバランスを効果的に果たし、臨床的特徴をぼやけさせたり歪めたりする一般的な強化ネットワークを上回る性能を発揮した。