[論文レビュー] DRG-Net: Interactive Joint Learning of Multi-lesion Segmentation and Classification for Diabetic Retinopathy Grading

Hasan Tusfiqur, Duy M. H. Nguyen+9 more|arXiv (Cornell University)|Dec 30, 2022

Retinal Imaging and Analysis被引用数 6

ひとこと要約

DRG-Net は、ドメイン不変特徴学習とアテンションメカニズムを用いて、同時に複数病変のセグメンテーションと疾患分類を実行するインタラクティブで統合的な学習フレームワークを提案する。ユーザーのフィードバックと adversarial training を統合することでモデルのロバスト性と説明可能性を向上させ、弱教師付きフィードバックを用いて IDRID および FGADR データセットで最先端の性能を達成した。

ABSTRACT

Diabetic Retinopathy (DR) is a leading cause of vision loss in the world, and early DR detection is necessary to prevent vision loss and support an appropriate treatment. In this work, we leverage interactive machine learning and introduce a joint learning framework, termed DRG-Net, to effectively learn both disease grading and multi-lesion segmentation. Our DRG-Net consists of two modules: (i) DRG-AI-System to classify DR Grading, localize lesion areas, and provide visual explanations; (ii) DRG-Expert-Interaction to receive feedback from user-expert and improve the DRG-AI-System. To deal with sparse data, we utilize transfer learning mechanisms to extract invariant feature representations by using Wasserstein distance and adversarial learning-based entropy minimization. Besides, we propose a novel attention strategy at both low- and high-level features to automatically select the most significant lesion information and provide explainable properties. In terms of human interaction, we further develop DRG-Net as a tool that enables expert users to correct the system's predictions, which may then be used to update the system as a whole. Moreover, thanks to the attention mechanism and loss functions constraint between lesion features and classification features, our approach can be robust given a certain level of noise in the feedback of users. We have benchmarked DRG-Net on the two largest DR datasets, i.e., IDRID and FGADR, and compared it to various state-of-the-art deep learning networks. In addition to outperforming other SOTA approaches, DRG-Net is effectively updated using user feedback, even in a weakly-supervised manner.

研究の動機と目的

• 臨床医と AI 間の説明可能でインタラクティブな学習を可能にすることで、糖尿病網膜症（DR）診断におけるブラックボックスモデルの限界を是正すること。
• 共有されたアテンション駆動型特徴を用いて、複数病変のセグメンテーションと DR 階層分類を同時に最適化し、モデルの汎化性能とロバスト性を向上させること。
• ピクセル単位のマスクではなく、バウンディングボックスなどの粗いアノテーションを用いる弱教師付きフィードバックにより、正確なアノテーションに依存するのを減らすこと。
• アテンションメカニズムと病変・分類特徴間の損失制約を用いて、ノイズが多いまたは不正確なユーザーのフィードバックに対してもモデルのロバスト性を向上させること。
• 熟練者の相互作用を通じて進化する共同 AI システムを構築し、最小限のアノテーション作業で時間経過とともに性能を向上させること。

提案手法

• DRG-Net は二重モジュールアーキテクチャを採用している：DRG-AI-System は分類、病変局在化、説明を担当し、DRG-Expert-Interaction はユーザーのフィードバック統合を担当する。
• ドメイン不変病変特徴生成器は、転移学習と Wasserstein 距離を用いた adversarial learning を用いて、ドメインのズレを最小限に抑え、異なるデータセット間での特徴の汎化を向上させる。
• 低次元および高次元特徴の両方に、新規のマルチスケールアテンション機構を適用し、顕著な病変領域を動的に強調することで、解釈可能性を向上させる。
• adversarial learning を用いたエントロピー最小化により、ラベルノイズに対する耐性を高め、データが少ない状況下での汎化性能を向上させる。
• ユーザーのフィードバックは弱教師付き微調整を介して統合され、ピクセル単位のインスタンスセグメンテーションを必要とせずに、バウンディングボックスの修正によってモデルを更新する。
• 損失関数は、病変特徴と分類予測の間の整合性を強制するように設計されており、セグメンテーションの品質が直接的に階層分類の性能向上に寄与することを保証する。

実験結果

リサーチクエスチョン

• RQ1 病変セグメンテーションと DR 階層分類を統合的に学習させることで、これらのタスクを個別に学習させる場合と比較してモデル性能が向上するか？
• RQ2 バウンディングボックスなどの粗いアノテーションとしてのユーザーのフィードバックを、弱教師付きの方法で効果的にモデル精度の向上に活用できるか？
• RQ3 病変関連特徴を強調するアテンション機構は、モデルの説明可能性とノイズの多いフィードバックに対するロバスト性をどの程度向上させるか？
• RQ4 ドメイン不変特徴学習は、ドメインシフトや限られたラベル付きデータによる性能低下を緩和できるか？
• RQ5 臨床的根拠（例：活性化マップ、病変マスク）の統合は、実臨床診断環境における専門家の信頼構築と意思決定支援にどのように寄与するか？

主な発見

• DRG-Net は、IDRID および FGADR データセットの両方において、セグメンテーションおよび分類性能の面で最先端の手法を上回り、データが少ない状況下でも優れた汎化性能を示した。
• アテンションベースの特徴選択と損失制約のおかげで、ユーザーのフィードバックにノイズが含まれても、不正確または不完全な修正であっても、性能を維持する高いロバスト性を達成した。
• 病変アテンションの統合により、クラス活性化マップと正解の病変領域との重複率が顕著に向上した（図 17 の可視化比較を参照）。これにより、説明可能性の向上が確認された。
• バウンディングボックスの修正によるユーザーのフィードバックが、ピクセル単位のアノテーションを必要とせずに、セグメンテーションおよび分類タスクの両方で測定可能な性能向上を実現した。
• 反復的な熟練者の相互作用を通じて、継続的なモデル改善が可能であることを示し、臨床ワークフローにおける共同 AI システムとしての実現可能性を検証した。
• アブレーションスタディの結果、adversarial learning、ドメイン適応、アテンション機構の組み合わせが最適な性能とロバスト性を達成するために不可欠であることが確認された。