[論文レビュー] A Generic Fundus Image Enhancement Network Boosted by Frequency Self-supervised Representation Learning

Heng Li, Haofeng Liu+6 more|PubMed|Sep 2, 2023

Retinal Imaging and Analysis参考文献 44被引用数 9

ひとこと要約

GFE-Netは、頻度ベースの自己監督学習から構造を意識した表現を学び、監督データなしで劣化した視野画像を強化し、画像強化とシームレスに結合します。データセットを跨いで堅牢で一般化可能な結果を達成し、展開効率を向上させます。

ABSTRACT

Fundus photography is prone to suffer from image quality degradation that impacts clinical examination performed by ophthalmologists or intelligent systems. Though enhancement algorithms have been developed to promote fundus observation on degraded images, high data demands and limited applicability hinder their clinical deployment. To circumvent this bottleneck, a generic fundus image enhancement network (GFE-Net) is developed in this study to robustly correct unknown fundus images without supervised or extra data. Levering image frequency information, self-supervised representation learning is conducted to learn robust structure-aware representations from degraded images. Then with a seamless architecture that couples representation learning and image enhancement, GFE-Net can accurately correct fundus images and meanwhile preserve retinal structures. Comprehensive experiments are implemented to demonstrate the effectiveness and advantages of GFE-Net. Compared with state-of-the-art algorithms, GFE-Net achieves superior performance in data dependency, enhancement performance, deployment efficiency, and scale generalizability. Follow-up fundus image analysis is also facilitated by GFE-Net, whose modules are respectively verified to be effective for image enhancement.

研究の動機と目的

• 監督データやテストデータアクセスなしで未知の劣化した眼底画像を強化する課題に対処する。
• 周波数情報を使用して劣化画像から堅牢で構造を保つ表現を学ぶ。
• 対立的訓練を回避するため、表現学習と画像強化をシームレスなアーキテクチャで結合する。
• 複数のデータセットにわたるデータ効率性、一般化可能性、展開の実用性を示す。

提案手法

• 劣化した眼底ビューから構造意識表現を学ぶ頻度自己監督表現学習（SSRL）を導入する。
• 追加のアノテーションなしでSSR Lを訓練するために鮮明な眼底画像から劣化ビューを合成して訓練する。
• 網膜構造を保持するためのSSR L前提として高周波マップ（HFM）の再構成を利用する。
• 共有エンコーダと2つのデコーダを結合する：1つは表現学習用（D_R）、もう1つは画像強化用（D_E）。
• 総和損失 L_total = L_R + L_E + L_cyc を用いて敵対的訓練なしでエンドツーエンド訓練を最適化する。
• 収束と安定性を確保するためにU-Net様のアーキテクチャと明示的な目的関数を活用する。

実験結果

リサーチクエスチョン

• RQ1 合成データのみを用いて未知の劣化眼底画像を補正できる汎用眼底画像強化モデルは存在するか？
• RQ2 周波数ベースの自己監督学習は伝統的な教師あり学習や対立的手法より網膜構造をよりよく保持するか？
• RQ3 SSRLを強化と統合することはデータ依存性、展開効率、およびスケール一般化にどのような影響を与えるか？
• RQ4 撮影の干渉と白内障で劣化したデータセット間でGFE-Netの性能はどうか？

主な発見

• GFE-Netは最先端のベースラインと比較してデータ依存性を削減しつつ優れた強化性能を達成する。
• 周波数自己監督学習コンポーネントは強化中に網膜構造を保持する。
• 訓練収束は効率的で対立的訓練の落とし穴を回避し、展開コストも競合的。
• GFE-Netは撮像干渉と白内障など異なる劣化タイプのデータセット間で強い一般化性を示す。
• 合成データで学習したモデルをテストデータアクセスや追加の微調整なしで複数データセットに適用できる。