[論文レビュー] Deep CT to MR Synthesis using Paired and Unpaired Data

Cheng‐Bin Jin, Hakil Kim+7 more|arXiv (Cornell University)|May 28, 2018

Radiomics and Machine Learning in Medical Imaging参考文献 21被引用数 10

ひとこと要約

本稿では、ペア化されたデータとペアでないデータの両方を統合的に活用することで、脳CTスキャンから高精細なMR画像を合成する新しいMR-GANフレームワークを提案する。対抗的損失、ペア化されたデータおよびペアでないデータの両方に適用される二重サイクル整合性損失、ボクセル単位の損失を統合することで、平均絶対誤差（MAE）19.36 ± 2.73およびピーク信号対ノイズ比（PSNR）65.35 ± 0.86を達成し、定量的および定性的な両評価において、既存手法を顕著に上回る最先端の性能を発揮した。

ABSTRACT

MR imaging will play a very important role in radiotherapy treatment planning for segmentation of tumor volumes and organs. However, the use of MR-based radiotherapy is limited because of the high cost and the increased use of metal implants such as cardiac pacemakers and artificial joints in aging society. To improve the accuracy of CT-based radiotherapy planning, we propose a synthetic approach that translates a CT image into an MR image using paired and unpaired training data. In contrast to the current synthetic methods for medical images, which depend on sparse pairwise-aligned data or plentiful unpaired data, the proposed approach alleviates the rigid registration challenge of paired training and overcomes the context-misalignment problem of the unpaired training. A generative adversarial network was trained to transform 2D brain CT image slices into 2D brain MR image slices, combining adversarial loss, dual cycle-consistent loss, and voxel-wise loss. The experiments were analyzed using CT and MR images of 202 patients. Qualitative and quantitative comparisons against independent paired training and unpaired training methods demonstrate the superiority of our approach.

研究の動機と目的

• CTに基づく放射線治療計画における軟部組織のコントラスト不足および腫瘍のセグメンテーション困難を補完するため、CTスキャンからMRに類似した画像を合成すること。
• ペアでないデータにおける文脈の不整合とペア化されたデータにおけるぼんやりとした画像を統一フレームワークで克服すること。
• 対抗的損失、サイクル整合性損失、ボクセル単位の損失を統合することで、画像合成品質を向上させること。
• 金属インプラントを有する患者や、MRスキャンが利用できないリソース制限のある環境において実用的応用を可能にすること。
• MR-CTやCT-PET変換などの他の医療画像合成タスクへも本フレームワークを拡張すること。

提案手法

• MR-GANフレームワークは、実画像と合成画像を区別できるように訓練されたディスクライマーを備えた生成的敵対的ネットワークを用いる。
• ペア化されたデータおよびペアでないデータの両方に対して、前向き・逆向きのペアでないデータ、および前向き・逆向きのペア化されたデータの4つのサイクルにわたる二重サイクル整合性損失を課し、構造的一致性を確保する。
• 生成器は、現実性を向上させるための対抗的損失、ドメイン変換の忠実性を保証するサイクル整合性損失、ペア化されたデータを用いたピクセル単位の正確性を向上させる損失を統合する。
• 生成器とディスクライマーは同時に訓練され、生成器は実際のMR画像と区別がつかない画像を生成することを目的とする。
• 特徴抽出の向上と過学習の防止を目的として、ディスクライマーに共有部、追加ヘッド、追加テイルネットワークを統合する。
• 限定的なペア化されたデータと豊富なペアでないデータの両方を用いたエンドツーエンドの訓練をサポートし、汎化性能とロバスト性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 ペア化されたデータとペアでないデータの両方を用いた深層生成モデルは、CTスキャンから現実的なMR画像を効果的に合成できるか？
• RQ2 対抗的損失、サイクル整合性損失、ボクセル単位の損失を統合することで、個別に使用する場合と比較して合成品質がどのように向上するか？
• RQ3 二重サイクル整合性学習機構は、ペアでないデータの翻訳において解剖学的不整合を低減し、構造的一致性を向上させるか？
• RQ4 ペア化されたデータを組み込むことで、合成MR画像におけるぼんやりとした表現がどれほど軽減され、ピクセル単位の正確性が向上するか？
• RQ5 提案されたフレームワークは、MR-CTやCT-PET変換などの他の医療画像合成タスクへ一般化可能か？

主な発見

• 提案されたMR-GANは、比較対象のすべての手法の中で最小の平均絶対誤差（MAE）19.36 ± 2.73を達成し、ピクセル単位の正確性が非常に高いことを示した。
• モデルは最高のピーク信号対ノイズ比（PSNR）65.35 ± 0.86を達成し、画像品質と忠実性が優れていることを示した。
• 合成MR画像は、ベースライン手法と比較して著しくぼんやりとしておらず、軟部組織、血管、回溝部における解剖学的詳細が明確に再現されていた。
• 二重サイクル整合性損失は、ペアでないデータにおける文脈の不整合を効果的に低減し、構造的一致性を向上させた。
• 負の対数尤度損失を用いたディスクライマーは、最小二乗損失よりもMAEおよびPSNRの観点で優れており、最適化の安定性が向上していることを示した。
• 合成MR出力から再構成されたCT画像は、元のCT入力と極めて類似しており、サイクル整合性が解剖学的構造を効果的に保持していることを確認した。