[論文レビュー] Bridge the Domain Gap Between Ultra-wide-field and Traditional Fundus Images via Adversarial Domain Adaptation

Lie Ju, Xin Wang+6 more|arXiv (Cornell University)|Mar 23, 2020

Retinal Imaging and Analysis参考文献 26被引用数 4

ひとこと要約

本稿では、従来の網膜画像と超広角（UWF）網膜画像の間のドメインギャップを埋めるために、新しい敵対的ドメイン適応フレームワークを提案する。これにより、豊富な従来の網膜データから希少なUWFデータへの知識の転送が可能になる。サイクル整合性のある生成的敵対ネットワーク、偽ラベル付け、一貫性正則化、MixUp増幅を組み合わせることで、UWF網膜疾患分類性能が顕著に向上し、UWFデータのみで学習した場合に比べてF1スコアが8.28%高い66.71%を達成した。

ABSTRACT

For decades, advances in retinal imaging technology have enabled effective diagnosis and management of retinal disease using fundus cameras. Recently, ultra-wide-field (UWF) fundus imaging by Optos camera is gradually put into use because of its broader insights on fundus for some lesions that are not typically seen in traditional fundus images. Research on traditional fundus images is an active topic but studies on UWF fundus images are few. One of the most important reasons is that UWF fundus images are hard to obtain. In this paper, for the first time, we explore domain adaptation from the traditional fundus to UWF fundus images. We propose a flexible framework to bridge the domain gap between two domains and co-train a UWF fundus diagnosis model by pseudo-labelling and adversarial learning. We design a regularisation technique to regulate the domain adaptation. Also, we apply MixUp to overcome the over-fitting issue from incorrect generated pseudo-labels. Our experimental results on either single or both domains demonstrate that the proposed method can well adapt and transfer the knowledge from traditional fundus images to UWF fundus images and improve the performance of retinal disease recognition.

研究の動機と目的

• 深層学習モデルの網膜疾患診断における訓練に用いられるUWF網膜画像の限られた可用性の課題に対処すること。
• 豊富に存在するが正確にアノテートされた従来の網膜画像と、希少でノイズが多く臨床的に現実的であるUWF網膜画像の間のドメインギャップを埋め、効果的な知識転送を可能にすること。
• 敵対的学習と偽ラベル付けを用いて、ソース（従来）ドメインとターゲット（UWF）ドメインの両方を活用する共同学習フレームワークを開発し、一般化性能を向上させること。
• MixUp増幅と一貫性正則化を用いて、誤った偽ラベルによる過学習と確認バイアスを克服すること。
• 従来の網膜画像からUWF網膜画像へのドメイン適応が、実臨床のUWFデータにおける分類性能を顕著に向上させることを実証すること。

提案手法

• ドメインシフトを軽減するために、従来の網膜画像をUWF風の画像に変換するためのサイクル整合性のある生成的敵対ネットワーク（CycleGAN）を採用する。
• 事前に訓練されたソースドメイン分類器を用いて、変換されたUWF風画像のための合成ラベルを生成するための偽ラベル付けを適用する。
• 実画像と変換画像の両方に対して同じ予測を出すようにモデルを正則化する一貫性正則化項を導入し、モデルのロバスト性を向上させる。
• 共同学習中にMixUp増幅を用いて、誤った偽ラベルによる過学習と確認バイアスを低減する。
• 敵対的学習を用いてドメイン間の特徴分布を一致させながら、実UWF画像と偽ラベル付き変換画像の両方で分類モデルを共同で訓練する。
• 分類損失、敵対的損失、一貫性正則化、MixUp損失を組み合わせた総合損失関数を用いて、フレームワークをエンドツーエンドで最適化する。

実験結果

リサーチクエスチョン

• RQ1 敵対的ドメイン適応は、従来の網膜画像とUWF網膜画像の間のドメインギャップを効果的に埋めることができるか？
• RQ2 限られたUWFデータで学習する際、偽ラベル付けと一貫性正則化を組み合わせることで、モデルの一般化性能がどのように向上するか？
• RQ3 ノイズが多いまたは誤った偽ラベルが原因で生じる過学習を、どの程度MixUp増幅が軽減できるか？
• RQ4 UWFデータのみで学習する場合と比較して、従来の網膜画像からの知識転送が、実臨床のUWF網膜画像における分類性能を向上させるか？
• RQ5 生成された偽ラベル付き画像の数がモデル性能に与える影響はどの程度か。性能を最大化する最適な数量は存在するか？

主な発見

• 提案手法は、UWF網膜画像分類において66.71%のF1スコアを達成し、実UWFデータのみで学習した場合の55.47%（F1スコア）に比べて8.28%の向上を示した。
• すべての指標において、微調整、知識蒸留、偽ラベル付け、MixUpベースラインを上回り、500枚の偽ラベル付き画像を用いた際、最高の正答率（81.37%）とF1スコア（66.71%）を記録した。
• 一貫性正則化は、実画像と変換画像の予測を一致させることで、モデルのロバスト性を顕著に向上させ、ドメインシフトの影響を軽減した。
• 最適な点（例：500枚）を超えて偽ラベル付き画像の数を増やすと性能が低下する傾向を示し、画像の品質が数よりも重要であることを示した。
• MixUp増幅は、誤った偽ラベルによる過学習と確認バイアスを効果的に低減し、偽ラベル付けのみの場合（60.92%）に比べてF1スコアが61.48%まで向上するなど、一般化性能の向上に寄与した。
• アブレーションスタディにより、高品質な偽ラベル付き画像が極めて重要であることが確認された。低品質な画像が多すぎるとモデル性能が低下し、正則化とデータ品質管理の重要性が浮き彫りになった。