[論文レビュー] Generative Adversarial Networks for Image-to-Image Translation on Multi-Contrast MR Images - A Comparison of CycleGAN and UNIT

Per Welander, Simon Karlsson+1 more|arXiv (Cornell University)|Jun 20, 2018

Generative Adversarial Networks and Image Synthesis参考文献 10被引用数 84

ひとこと要約

この論文は CycleGAN と UNIT（および監督付き変種）を比較し、2Dスライスを用いて T1 重 MR 画像と T2 重 MR 画像の翻訳を評価、定量的指標と知覚的リアリズムを検討する。視覚的にリアルな画像が必ずしも定量的誤差指標と一致しないことを指摘している。

ABSTRACT

In medical imaging, a general problem is that it is costly and time consuming to collect high quality data from healthy and diseased subjects. Generative adversarial networks (GANs) is a deep learning method that has been developed for synthesizing data. GANs can thereby be used to generate more realistic training data, to improve classification performance of machine learning algorithms. Another application of GANs is image-to-image translations, e.g. generating magnetic resonance (MR) images from computed tomography (CT) images, which can be used to obtain multimodal datasets from a single modality. Here, we evaluate two unsupervised GAN models (CycleGAN and UNIT) for image-to-image translation of T1- and T2-weighted MR images, by comparing generated synthetic MR images to ground truth images. We also evaluate two supervised models; a modification of CycleGAN and a pure generator model. A small perceptual study was also performed to evaluate how visually realistic the synthesized images are. It is shown that the implemented GAN models can synthesize visually realistic MR images (incorrectly labeled as real by a human). It is also shown that models producing more visually realistic synthetic images not necessarily have better quantitative error measurements, when compared to ground truth data. Code is available at https://github.com/simontomaskarlsson/GAN-MRI

研究の動機と目的

• MRデータを合成し、多モーダルデータセットを実現して医用画像タスクの向上を図るためにGANの利用を動機づける。
• T1-およびT2重 MR画像間の画像間翻訳を目的とした無監督の CycleGAN と UNIT を評価する。
• CycleGAN の監督付き変種と generator のみのモデルを調査し、真の ground-truth ガイダンスの役割を理解する。
• 知覚研究を通じて合成MR画像の視覚的リアリズムを評価する。
• 実験を再現するための公開コードを提供する。

提案手法

• MRコントラスト間の非ペア画像翻訳のためにKerasで CycleGAN と UNIT を実装する。
• CycleGAN の2つの変種を作成: CycleGAN_s (MAEを用いた監督付き) と Generators_s (MAEを用いる生成器のみ)。
• 対照として単純な2層CNNベースラインを含める。
• Human Connectome Projectデータセットの2D軸方向スライスを用いて、各ドメインで900の訓練画像と213のテスト画像で訓練する。
• 画像を正規化した後、定量指標（MAE、PSNR、MI）で評価し、リアリズムを評価する知覚的研究を実施する。
• Epochあたりの生成速度と訓練時間を比較（CycleGAN 対 UNIT）し、視覚的差分による定性的結果を報告する。

実験結果

リサーチクエスチョン

• RQ1 無監督学習のもと、どの GAN モデル（CycleGAN 対 UNIT）が T1 と T2 ドメイン間の MR 画像翻訳に最も適しているか？
• RQ2 監督付き訓練変種（CycleGAN_s、Generators_s）は定量的指標を改善するか、視覚的リアリズムにどのような影響があるか？
• RQ3 モデル間での視覚的知覚評価と定量的誤差指標を比較するとどうなるか？
• RQ4 敵対的損失を用いる場合と純粋な監督付きMAE損失を用いる場合で、画像品質とエッジ細部にどのような影響があるか？
• RQ5 これらのモデルはデータ拡張や多モーダルMRIデータ合成の基盤となり得るか？

主な発見

• Generators_sモデルは定量的指標（MAE、PSNR、MI）のすべてで最高の性能を達成する。
• シンプルなベースラインモデルは定量的指標で最悪の性能を示す。
• CycleGAN、CycleGAN_s、UNITは定量的性能が類似しており、MAEではT1画像の方が一般にT2より良いスコアを示す。
• 知覚研究では合成MR画像は視覚的にリアルであると評価されることが多く、本物とラベル付けされることもある。T2画像の方が合成画像を偽物と判定しづらい。
• 監督付き訓練（MAE）は視覚的に滑らかながら時に非現実的な画像を生み出す傾向があり、リアリズムには adversarial loss が重要であることを示唆している。
• エッジやCSF/白質境界はより困難を伴い、特にそれぞれT1およびT2翻訳で課題となる。