[論文レビュー] HQG-Net: Unpaired Medical Image Enhancement with High-Quality Guidance

Chunming He, Kai Li+6 more|arXiv (Cornell University)|Jul 15, 2023

AI in cancer detection被引用数 5

ひとこと要約

本稿では、変分正規化モジュールを用いて、ペairedでない高品質（HQ）画像からの特徴を用いて低品質（LQ）画像強化を明示的にガイドする、新しい非ペア医療画像強化手法HQG-Netを提案する。LQおよびHQドメイン間の同時分布をモデル化し、ウェーブレットベースおよびマルチエンコーダー制約を組み合わせたコンテンツに配慮した損失関数を採用することで、視覚的品質および下流タスク性能が優れており、2つの新規に収集されたデータセットも含む3つの医療データセットで最先端の手法を上回っている。

ABSTRACT

Unpaired Medical Image Enhancement (UMIE) aims to transform a low-quality (LQ) medical image into a high-quality (HQ) one without relying on paired images for training. While most existing approaches are based on Pix2Pix/CycleGAN and are effective to some extent, they fail to explicitly use HQ information to guide the enhancement process, which can lead to undesired artifacts and structural distortions. In this paper, we propose a novel UMIE approach that avoids the above limitation of existing methods by directly encoding HQ cues into the LQ enhancement process in a variational fashion and thus model the UMIE task under the joint distribution between the LQ and HQ domains. Specifically, we extract features from an HQ image and explicitly insert the features, which are expected to encode HQ cues, into the enhancement network to guide the LQ enhancement with the variational normalization module. We train the enhancement network adversarially with a discriminator to ensure the generated HQ image falls into the HQ domain. We further propose a content-aware loss to guide the enhancement process with wavelet-based pixel-level and multi-encoder-based feature-level constraints. Additionally, as a key motivation for performing image enhancement is to make the enhanced images serve better for downstream tasks, we propose a bi-level learning scheme to optimize the UMIE task and downstream tasks cooperatively, helping generate HQ images both visually appealing and favorable for downstream tasks. Experiments on three medical datasets, including two newly collected datasets, verify that the proposed method outperforms existing techniques in terms of both enhancement quality and downstream task performance. We will make the code and the newly collected datasets publicly available for community study.

研究の動機と目的

• 既存の非ペア医療画像強化（UMIE）手法が、LQ強化中にHQ画像情報の明示的利用に失敗しているという制限に対処すること。
• より強固でアーチファクトのない強化を実現するため、低品質（LQ）および高品質（HQ）画像ドメイン間の同時分布をモデル化すること。
• 視覚的品質に加え、セグメンテーションや疾患分類などの下流臨床タスクの観点からも強化品質を向上させること。
• 画像強化と下流タスク性能を同時に最適化する二段階最適化フレームワークを構築すること。
• コミュニティ研究用にコードおよび2つの新規に収集された医療データセットを公開すること。

提案手法

• HQG-Netは、ペアでないHQ画像から抽出した特徴ベクトルをLQ強化生成器に組み込むことで、明示的なガイドを提供する変分正規化モジュールを導入する。
• 生成された画像がHQドメインの分布に収まるように保証するため、生成器を敵対的に訓練するディスクラミネータを用いる。
• ウェーブレットベースのピクセルレベルの一貫性とマルチエンコーダーに基づく特徴レベルの制約を組み合わせたコンテンツに配慮した損失関数を提案し、構造的およびテクスチャ的詳細の保存を図る。
• 強化が臨床的有用性に適合するように、セグメンテーションや分類などの下流タスクと同時に最適化する二段階最適化方式を設計する。
• ペアのLQ-HQ画像を必要とせず、非ペアの学習データを活用し、敵対的損失および知覚的損失を用いてエンドツーエンドで訓練する。
• モデルは、角膜共焦点顕微鏡（CCM）、内視鏡、および網膜画像の3つの医療画像モodalitiesで評価され、アブレーションスタディにより各構成要素の有効性が確認されている。

実験結果

リサーチクエスチョン

• RQ1 ペアでないHQ画像からの明示的ガイドが、LQ医療画像強化の忠実性および構造的正確性を向上させることができるか？
• RQ2 LQドメインのみに依存する手法と比較して、LQおよびHQドメイン間の同時分布をモデル化することで、より優れた強化品質が得られるか？
• RQ3 ウェーブレットおよびマルチエンコーダー制約を組み合わせたコンテンツに配慮した損失が、強化された医療画像におけるテクスチャおよび構造的詳細を効果的に保持できるか？
• RQ4 下流タスクと同時に最適化する二段階最適化により、臨床意思決定に適した強化画像が得られるか？
• RQ5 HQG-Netは、最先端のUMIE手法と比較して、セグメンテーションや疾患分類などの下流タスク性能をどの程度向上させるか？

主な発見

• HQG-Netは、2つの新規に収集されたデータセットも含む3つの医療データセットで、視覚的強化品質および下流タスク性能の両面で最先端の手法を上回っている。
• CORN-3データセットでは、二段階最適化戦略により神経線維のねじれ度分類の正確性が2.3%向上し、F1スコアが3.2%向上した。これは臨床的有用性の向上を示している。
• DiaRetデータセットにおける疾患診断タスクでは、HQG-Netは元のLQ画像と比較して診断正確性を11.8%向上、感度を3.4%向上、F1スコアを9.2%向上、正確性を14.8%向上させた。
• 臨床医による再分類タスクでは、HQG-NetおよびHQG-Net+はLQ画像を臨床的に許容可能な品質に強化できており、強化されたHQ画像がLQ画像として誤分類された事例は一切なかった。
• アブレーションスタディにより、コンテンツに配慮した損失および二段階最適化が、特に微細構造の保存および下流タスクの正確性向上に顕著な貢献をしていることが確認された。
• すべての評価データセットでPSNR、SSIM、FIDなどの複数の指標において最先端の結果を達成しており、本手法の強靭性および一般化能力が裏付けられている。