[論文レビュー] Breaking the Dilemma of Medical Image-to-image Translation

Lingke Kong, Chenyu Lian+4 more|arXiv (Cornell University)|Oct 13, 2021

Radiomics and Machine Learning in Medical Imaging参考文献 24被引用数 74

ひとこと要約

RegGAN は、医用画像翻訳における目標がずれた場合に対処するための登録ネットワークを用いた loss-correction フレームワークを導入し、Pix2Pix や Cycle-consistency を上回り、整列済み、ずれたデータ、そしてペアなしデータでも性能を向上させる。

ABSTRACT

Supervised Pix2Pix and unsupervised Cycle-consistency are two modes that dominate the field of medical image-to-image translation. However, neither modes are ideal. The Pix2Pix mode has excellent performance. But it requires paired and well pixel-wise aligned images, which may not always be achievable due to respiratory motion or anatomy change between times that paired images are acquired. The Cycle-consistency mode is less stringent with training data and works well on unpaired or misaligned images. But its performance may not be optimal. In order to break the dilemma of the existing modes, we propose a new unsupervised mode called RegGAN for medical image-to-image translation. It is based on the theory of "loss-correction". In RegGAN, the misaligned target images are considered as noisy labels and the generator is trained with an additional registration network to fit the misaligned noise distribution adaptively. The goal is to search for the common optimal solution to both image-to-image translation and registration tasks. We incorporated RegGAN into a few state-of-the-art image-to-image translation methods and demonstrated that RegGAN could be easily combined with these methods to improve their performances. Such as a simple CycleGAN in our mode surpasses latest NICEGAN even though using less network parameters. Based on our results, RegGAN outperformed both Pix2Pix on aligned data and Cycle-consistency on misaligned or unpaired data. RegGAN is insensitive to noises which makes it a better choice for a wide range of scenarios, especially for medical image-to-image translation tasks in which well pixel-wise aligned data are not available

研究の動機と目的

• Pix2Pix および Cycle-consistency を超えるずれた、またはペアなしの医用画像を扱う image-to-image 翻訳モードの必要性を動機づける。
• RegGAN をロス補正フレームワークとして提案し、生成器と登録ネットワークを同時に訓練して変形ノイズを適応的にモデル化する。
• 既存の翻訳モデルと統合して、パラメータを抑えて性能を向上させることができることを示す。
• 整列データ、ずれデータ、ペアなしデータ、そして様々なノイズレベル下で、公開医用画像データセット上で RegGAN を評価する。

提案手法

• ターゲット画像がずれている場合、ノイズ付きラベルとして画像間翻訳を監視学習として定式化する。
• 生成器 G の後に登録ネットワーク R を導入し、ラベルノイズを補正する変形場を学習する。
• ずれたターゲットと変形された生成画像出力との差を最小化する補正損失と、変形場の滑らかさを課すスムースネス損失を定義する。
• Corr 損失、Smooth 損失、敵対的損失を組み合わせて、G、R、D の共同最適化の総損失とする。
• 変形ノイズをノイズモデルとして扱い、ロス補正を用いてノイズ付きラベルを真のターゲット分布に合わせる。

実験結果

リサーチクエスチョン

• RQ1 RegGAN は、ターゲット画像がずれているまたはペアなしの場合でも、Pix2Pix と Cycle-consistency と比較して競争力のある、あるいはそれを上回る翻訳品質を達成できるか。
• RQ2 変形ノイズをモデル化する登録ネットワークを組み込むことで、医用画像翻訳におけるずれや様々なノイズレベルに対する頑健性が向上するか。
• RQ3 RegGAN は既存の image-to-image 翻訳アーキテクチャと効果的に統合して、より少ないパラメータで性能を向上させられるか。
• RQ4 整列データとずれ/ペアなしデータの複数データセットおよび手法にわたって RegGAN はどのように性能を示すか。

主な発見

• RegGAN は、ターゲットがずれているまたはペアなしの場合でも、評価された手法全体で翻訳性能を一貫して向上させる。
• 登録ネットワーク (+R) の組み込みは、指標と手法を問わず著しい性能向上をもたらし、しばしば Cycle-consistency のベースラインを上回る。
• NC+R 構成（非 Cycle-consistency + 登録）は、C+R 構成を頻繁に上回り、Cycle-consistency が RegGAN と組み合わせると性能を妨げる可能性を示唆する。
• RegGAN はノイズレベルの増加や非アフィンノイズにも頑健で、Pix2Pix および CycleGAN のベースラインよりも優れた指標を維持する。
• ペアなしデータでは RegGAN は Pix2Pix および CycleGAN を上回るが、ペアあり設定ほどの改善ではない。
• 本アプローチは CycleGAN、MUNIT、UNIT、NICEGAN など異なるアーキテクチャと統合可能で、パラメータを抑えつつより良いまたは同等の結果を得られる。