[論文レビュー] Unpaired Brain MR-to-CT Synthesis using a Structure-Constrained CycleGAN

Heran Yang, Jian Sun+5 more|arXiv (Cornell University)|Sep 12, 2018

Generative Adversarial Networks and Image Synthesis参考文献 8被引用数 15

ひとこと要約

本稿では、モダリティに依存しない近接デスクリプタ（MIND）に基づく損失を用いて、入力MR画像と生成されたCT画像間の構造的一致性を強制することで、対でないMRからCTへの変換を実現する構造制約付きcycleGANを提案する。敵対的学習とサイクル整合性学習にこの損失を統合し、位置に基づく画像選択戦略を採用することで、従来のcycleGANを上回る性能を達成し、特に頭蓋骨などの解剖的構造の保持において、対で学習されたcycleGANに近い品質に近づいた。

ABSTRACT

The cycleGAN is becoming an influential method in medical image synthesis. However, due to a lack of direct constraints between input and synthetic images, the cycleGAN cannot guarantee structural consistency between these two images, and such consistency is of extreme importance in medical imaging. To overcome this, we propose a structure-constrained cycleGAN for brain MR-to-CT synthesis using unpaired data that defines an extra structure-consistency loss based on the modality independent neighborhood descriptor to constrain structural consistency. Additionally, we use a position-based selection strategy for selecting training images instead of a completely random selection scheme. Experimental results on synthesizing CT images from brain MR images demonstrate that our method is better than the conventional cycleGAN and approximates the cycleGAN trained with paired data.

研究の動機と目的

• 対でないMRからCTへの変換において、入力MRと合成CT画像の間の構造的一致性の欠如を解消すること。
• 真のセグメンテーションを必要とせずに、合成CT画像における解剖的構造の保持を強制すること。
• MIND特徴に基づく構造的一致性損失を導入することで、対でないデータに対するcycleGANの性能を向上させること。
• 位置に基づく画像選択戦略を用いることで、訓練の安定性と生成器の品質を向上させること。
• 対で学習されたデータを必要とせずに、対で学習されたcycleGANに近い性能を達成すること。

提案手法

• 入力MRと生成CT画像間のボクセル単位の特徴類似性を強制するために、モダリティに依存しない近接デスクリプタ（MIND）に基づく構造的一致性損失を導入する。
• 2つの生成器（MR→CTおよびCT→MR）と2つの判別器（CTドメインおよびMRドメイン用）を備えた変更されたcycleGANフレームワークを用いる。
• 3つの損失成分を組み合わせる：分布一致のための敵対的損失、サイクル再構成のためのサイクル整合性損失、および提案されたMINDベースの構造的一致性損失。
• 各ボリュームの中心から±5スライスの範囲内で訓練スライスを選択する位置に基づく選択戦略を適用し、訓練の安定性と生成器の品質を向上させる。
• 両方の生成器に残差U-Netアーキテクチャを採用し、高解像度画像の現実性を確保するためPatchGAN判別器を用いる。
• 初期学習率を固定値0.0002として、Adam最適化手法を用いて総損失関数を最適化する。

実験結果

リサーチクエスチョン

• RQ1 MIND特徴に基づく構造的一致性損失は、対でないMRからCTへの変換における解剖的忠実性を向上させることができるか？
• RQ2 位置に基づく画像選択戦略は、cycleGAN訓練における生成器の性能向上とモード崩壊の低減に寄与するか？
• RQ3 提案手法は、従来のcycleGANおよび対で学習されたcycleGANと比較して、構造的類似性と画像品質の面でどのように異なるか？
• RQ4 真のセグメンテーションや対で学習されたデータを必要とせずに、近似的に対で学習された性能に達成できるか？
• RQ5 構造的一致性損失は、合成CT画像における骨および頭蓋骨領域の再構成をどの程度向上させるか？

主な発見

• ペアt検定（p < 0.001）において、すべての指標（MAE、PSNR、SSIM、SSIM(HG)）で従来のcycleGANを有意に上回った。
• 提案手法は、対で学習されたcycleGANと同等のSSIM(HG)スコアを達成し、頭蓋骨のような高勾配構造の保持が優れていることを示した。
• 位置に基づく選択戦略は、ランダムサンプリングと比較してSSIM(HG)を統計的に有意に向上させた（p < 0.001）、他の指標においてはわずかな向上を示した。
• 視覚的結果から、提案手法は従来のcycleGANよりも構造的アーチファクトが少なく、入力MRの解剖学的構造と整合性の高い合成CT画像を生成していることがわかった。
• 本手法は、リアリズムと解剖的整合性のバランスを適切に保ち、特に頭蓋骨のような重要な領域におけるずれを構造的一致性損失が効果的に低減している。
• 未観測のテスト被験者に対しても一般化性能が高く、15例のテスト被験者評価セット全体で一貫した性能を維持した。