[論文レビュー] ReLGAN: Generalization of Consistency for GAN with Disjoint Constraints and Relative Learning of Generative Processes for Multiple Transformation Learning

Chiranjib Sur|arXiv (Cornell University)|Jun 14, 2020

Generative Adversarial Networks and Image Synthesis参考文献 7被引用数 4

ひとこと要約

ReLGANは、変換学習（TL）と相対学習（ReL）における分離制約を用いて一貫性と一般化を向上させる、画像対画像翻訳のための新しいGANアーキテクチャを提案する。特徴レベルの変換と背景テクスチャの最適化を分離することで、ReLGANは、ペアデータが存在しない医療関連の画像翻訳タスクにおいても、CycleGANを上回る忠実度とアーチファクトの低減を達成した。

ABSTRACT

Image to image transformation has gained popularity from different research communities due to its enormous impact on different applications, including medical. In this work, we have introduced a generalized scheme for consistency for GAN architectures with two new concepts of Transformation Learning (TL) and Relative Learning (ReL) for enhanced learning image transformations. Consistency for GAN architectures suffered from inadequate constraints and failed to learn multiple and multi-modal transformations, which is inevitable for many medical applications. The main drawback is that it focused on creating an intermediate and workable hybrid, which is not permissible for the medical applications which focus on minute details. Another drawback is the weak interrelation between the two learning phases and TL and ReL have introduced improved coordination among them. We have demonstrated the capability of the novel network framework on public datasets. We emphasized that our novel architecture produced an improved neural image transformation version for the image, which is more acceptable to the medical community. Experiments and results demonstrated the effectiveness of our framework with enhancement compared to the previous works.

研究の動機と目的

• 医療画像において精度が重要な状況において、複数のマルチモーダルで一貫性のある画像変換を学習するという、従来のGANの限界に対処すること。
• サイクル一貫性GANにおけるハイブリダイゼーションと構造的整合性の損なわれることを防ぐために、特徴とテクスチャ学習のための分離制約を導入すること。
• 相対学習（ReL）を生成器間の比較的で勾配スムージングのメカニズムとして導入することで、教師なし画像対画像翻訳における一般化と表現学習を向上させること。
• 微細なディテールを保持し、不審な物体の導入を最小限に抑えることで、より正確で臨床的に受け入れ可能な画像翻訳を可能にすること。
• 公的データセットを用いて、ペアデータが存在しないクロスドメイン翻訳においてもフレームワークの有効性を実証すること。

提案手法

• 複数の生成器を介して、例えば臓器検出やカラー化といった特徴レベルの変換を別々にモデル化する、分離制約メカニズムとしての変換学習（TL）を導入する。
• 2つの生成器からの生成画像の差異を評価する比較学習戦略としての相対学習（ReL）を実装し、テクスチャの一貫性を向上させ、急激な勾配を低減する。
• 学習プロセスを2段階に分離する：TLによる重要な特徴変換と、ReLによる背景および構造的最適化。勾配飽和を回避する。
• サイクル一貫性を保持した二重生成器・二重識別器アーキテクチャを採用するが、実画像と生成画像の特徴が強制的にハイブリダイズされるのを防ぐために、分離制約を導入して一般化する。
• 敵対的損失、サイクル一貫性損失、およびReLに基づく新しい相対的一致損失を組み合わせたエンドツーエンド学習を実施し、学習の安定化と一般化の向上を図る。
• 生成器間の潜在空間比較を活用して相対的知識移動を強制し、ペア監視なしに滑らかで自然な画像翻訳を実現する。

実験結果

リサーチクエスチョン

• RQ1 GANベースの画像対画像翻訳は、特徴忠実度を損なわせることなく、複数のマルチモーダルな変換を一般化してサポートできるか？
• RQ2 特に構造的正確性が不可欠な医療画像分野において、不一致の発生を低減し、一貫性を向上させるメカニズムは何か？
• RQ3 変換と相対学習における分離制約は、標準的なサイクル一貫性を越えて、生成器と識別器の段階間の協調性を向上させられるか？
• RQ4 従来のマルチ損失学習と比較して、相対学習（ReL）は一般化をどの程度向上させ、過学習をどの程度低減できるか？
• RQ5 ペア学習データが存在しないクロスドメイン画像翻訳タスクにおいて、ReLGANはCycleGANに比べてどの程度の性能を示すか？

主な発見

• ReLGANはゼブラ・ホースデータセットにおいてCycleGANを上回り、特に非ゼブラ領域において、より現実的で詳細な翻訳を生成し、アーチファクトを低減した。
• モデルは、非ターゲット特徴（例：非馬の茶色いテクスチャ）の構造的整合性を効果的に保持しており、CycleGANではしばしば歪められる領域であった。
• 相対学習（ReL）は滑らかな勾配をもたらし、一般化を向上させ、過学習を低減し、背景テクスチャの翻訳品質を向上させた。
• TLとReLにおける分離制約により、特徴学習とテクスチャ学習の間の協調性が向上し、標準GANで一般的なハイブリダイゼーション問題を回避できた。
• 視覚的検査により、ReLGANが生成した画像は、特に医療関連のシナリオにおいて、より高い知覚的品質と真値の意味論と整合性の高いものであることが確認された。
• フレームワークは、医療画像分野で使用される内部データセットにおいても優れた性能を示し、高精度を要する臨床応用への可能性を示唆した。