[論文レビュー] Optimal Transport driven CycleGAN for Unsupervised Learning in Inverse Problems

Byeongsu Sim, Gyutaek Oh+3 more|arXiv (Cornell University)|Sep 25, 2019

Generative Adversarial Networks and Image Synthesis参考文献 50被引用数 16

ひとこと要約

本稿では、物理学的データ適合性とディープラーニングベースの逆パス正則化を組み合わせた罰則付き最小二乗コストを用いて最適輸送理論からサイクルGANアーキテクチャを導出する、医療画像における逆問題のための新規な教師なし学習フレームワーク、OT-cycleGANを提案する。この手法により、1つの生成器・判別器ペアから2つのペアまで、物理的知識を組み込んだ柔軟なサイクルGAN設計が可能となり、対応する訓練データが不要な状況下でも、加速MRI、超高分解能顕微鏡、低線量CTにおいて教師あり学習と同等の性能を達成する。

ABSTRACT

To improve the performance of classical generative adversarial network (GAN), Wasserstein generative adversarial networks (W-GAN) was developed as a Kantorovich dual formulation of the optimal transport (OT) problem using Wasserstein-1 distance. However, it was not clear how cycleGAN-type generative models can be derived from the optimal transport theory. Here we show that a novel cycleGAN architecture can be derived as a Kantorovich dual OT formulation if a penalized least square (PLS) cost with deep learning-based inverse path penalty is used as a transportation cost. One of the most important advantages of this formulation is that depending on the knowledge of the forward problem, distinct variations of cycleGAN architecture can be derived: for example, one with two pairs of generators and discriminators, and the other with only a single pair of generator and discriminator. Even for the two generator cases, we show that the structural knowledge of the forward operator can lead to a simpler generator architecture which significantly simplifies the neural network training. The new cycleGAN formulation, what we call the OT-cycleGAN, have been applied for various biomedical imaging problems, such as accelerated magnetic resonance imaging (MRI), super-resolution microscopy, and low-dose x-ray computed tomography (CT). Experimental results confirm the efficacy and flexibility of the theory.

研究の動機と目的

• 最適輸送理論とサイクルGANの間のギャップを埋めるために、原理的かつ物理的知識に基づいたサイクルGANアーキテクチャを導出すること。
• 対応する訓練データが入手不可能な医療画像における教師なし逆問題解決の課題に取り組むこと。
• 前方作用素に関する知識の程度（既知か否か）に応じて柔軟に適応可能なフレームワークを構築すること。
• 対応するデータが一切ない状況下でも、加速MRI、超高分解能顕微鏡、低線量CTなどの応用分野で高品質な画像再構成を可能にすること。
• 教師あり手法に匹敵する性能を、真値ラベルにアクセスできない教師なしサイクルGANで達成できることを示すこと。

提案手法

• 本手法は、データ適合性とディープラーニングベースの逆パスペナルティを組み合わせた新しい罰則付き最小二乗（PLS）コストを用いて逆問題を定式化する。
• このPLSコストの下で最適輸送問題のカンタロヴィッチ双対形式としてOT-cycleGANを導出し、WGAN理論とサイクル整合性を持つGANを結びつける。
• 本フレームワークは複数のアーキテクチャ変種を許容する：前方作用素が既知の場合には1つの生成器・判別器ペア、未知の場合には2つのペアを用いる。
• 生成器はスキップ接続を備えたU-Netアーキテクチャで実装され、判別器はインスタンス正則化とReLU活性化関数を用いたPatchGANが使用される。
• 訓練には判別器の1-Lipschitz制約を満たすためにWGAN-GPが用いられ、最適化にはバッチサイズ20のAdamが使用される。
• 本手法は、対応データを使用しない3つの逆問題に適用されている：加速MRI、超高分解能顕微鏡、低線量CT。

実験結果

リサーチクエスチョン

• RQ1 物理学的知識に基づいた輸送コストを用いて、最適輸送理論からサイクルGANアーキテクチャを体系的に導出できるか？
• RQ2 ディープラーニングベースの逆パスペナルティを組み込むことで、逆問題におけるサイクルGANの安定性と性能にどのような影響を与えるか？
• RQ3 前方作用素の知識の有無に応じて、OT定式化から導かれるサイクルGANのアーキテクチャ的変種はどのようなものか？
• RQ4 教師なしOT-cycleGANは、対応データが一切ない状況下でも、教師あり学習と同等の再構成品質を達成できるか？
• RQ5 本手法は、前方作用素が異なる多様な医療画像応用分野にどのように一般化できるか？

主な発見

• 低線量CT再構成において、提案手法のOT-cycleGANはPSNR 38.20 dB、SSIM 0.92を達成し、教師ありベースライン（PSNR: 38.66 dB、SSIM: 0.93）に非常に近い性能を示した。
• 低線量CTノイズ除去において、対応する訓練データが一切ないにもかかわらず、教師あり学習と同等の視覚的・定量的結果を生成した。
• 本手法は、対応データが一切ない状況下でも、加速MRIおよび超高分解能顕微鏡において高品質な画像再構成に成功し、逆問題への一般化能力を示した。
• 前方作用素の知識の有無に応じて、1つまたは2つの生成器・判別器ペアという複数のアーキテクチャ形態をサポートしており、ネットワーク設計を最適化可能である。
• PLSコスト内にディープラーニングベースの逆パスペナルティを組み込むことで、再構成の忠実性が向上し、特に不適切に定式化された逆問題においても訓練の安定性が向上した。
• 理論的導出により、OT-cycleGANが新しいPLSコストを用いた最適輸送問題のカンタロヴィッチ双対形式であることが確認され、逆問題における教師なしGANの原理的基盤が確立された。