[論文レビュー] Harmonic Unpaired Image-to-image Translation

Rui Zhang, Tomas Pfister+1 more|arXiv (Cornell University)|Feb 26, 2019

Generative Adversarial Networks and Image Synthesis参考文献 44被引用数 30

ひとこと要約

本稿では、サンプルグラフ上の調和関数正則化を用いて滑らかで一貫性のあるマッピングを強制することで、アーチファクトを著しく低減し、翻訳品質を向上させる、新しい非ペaired画像間翻訳フレームワーク、HarmonicGANを提案する。追加の教師なし学習を必要とせず、医療画像処理、オブジェクト変容、セマンティックラベル付けの分野でCycleGANやSOTA手法を上回り、医療タスクにおけるMSEを半減させ、95%のケースで放射線科医の好みを獲得した。

ABSTRACT

The recent direction of unpaired image-to-image translation is on one hand very exciting as it alleviates the big burden in obtaining label-intensive pixel-to-pixel supervision, but it is on the other hand not fully satisfactory due to the presence of artifacts and degenerated transformations. In this paper, we take a manifold view of the problem by introducing a smoothness term over the sample graph to attain harmonic functions to enforce consistent mappings during the translation. We develop HarmonicGAN to learn bi-directional translations between the source and the target domains. With the help of similarity-consistency, the inherent self-consistency property of samples can be maintained. Distance metrics defined on two types of features including histogram and CNN are exploited. Under an identical problem setting as CycleGAN, without additional manual inputs and only at a small training-time cost, HarmonicGAN demonstrates a significant qualitative and quantitative improvement over the state of the art, as well as improved interpretability. We show experimental results in a number of applications including medical imaging, object transfiguration, and semantic labeling. We outperform the competing methods in all tasks, and for a medical imaging task in particular our method turns CycleGAN from a failure to a success, halving the mean-squared error, and generating images that radiologists prefer over competing methods in 95% of cases.

研究の動機と目的

• 既存の非ペアド画像間翻訳手法の限界、特にアーチファクトと劣化した変換を解決すること。
• マニフォールドに基づくアプローチを導入し、グラフに基づく調和関数を用いて、ドメイン間で滑らかで一貫性のあるマッピングを強制すること。
• 手動の教師信号を必要とせず、類似性一貫性正則化を用いて、サンプルの自己一貫性を維持すること。
• CycleGANと同等の非ペアド設定下で、質的・量的両面での性能を向上させつつ、最小限の訓練コストを維持すること。
• 医療画像処理など、過去の手法が失敗するような挑戦的な分野を含め、多様な応用分野で最先端の結果を示すこと。

提案手法

• ノードを画像、エッジをヒストограмムおよびCNN特徴に基づく類似性で定義したサンプルグラフを構築する。
• グラフ上での滑らかさ項を定義し、調和関数を強制することで、一貫性がありアーチファクトのない翻訳を実現する。
• GANフレームワークに調和正則化を統合し、ソースドメインとターゲットドメイン間の双方向翻訳を学習する。
• 類似性一貫性を活用して、翻訳中におけるデータポイントの本質的自己一貫性を保持する。
• ヒストограмムおよび深層CNN特徴の距離尺度を用いてグラフのエッジ重みを計算し、特徴の忠実性を向上させる。
• 敵対的損失と調和正則化を組み合わせ、追加の訓練オーバーヘッドを最小限に抑えたエンドツーエンドの訓練を実施する。

実験結果

リサーチクエスチョン

• RQ1 サンプルグラフ上に調和関数を強制することで、非ペアド画像間翻訳の一貫性と品質が向上するか？
• RQ2 提案手法の調和正則化は、従来手法と比較して、アーチファクトや劣化した変換をどの程度低減するか？
• RQ3 類似性一貫性の性質は、手動の教師なし学習なしに、どの程度自己一貫性のある翻訳を向上させるか？
• RQ4 CycleGANが失敗するような挑戦的な分野、特に医療画像処理において、本手法は最先端の性能を達成できるか？
• RQ5 本手法は、多様な画像翻訳タスクにおける解釈可能性と一般化性を向上させるか？

主な発見

• HarmonicGANは、アーチファクトを著しく低減し、翻訳品質を向上させ、評価されたすべてのタスクでCycleGANや他のSOTA手法を上回った。
• 医療画像処理において、HarmonicGANはCycleGANと比較して平均二乗誤差を50%削減し、かつて失敗した手法を成功に導いた。
• 放射線科医は、95%のケースでHarmonicGANが生成した画像を他の手法よりも好んだ。これは強い臨床的関連性を示している。
• 追加の手動入力や顕著な訓練コストを要せず、すべてのベンチマークで優れた定量的結果を達成した。
• 調和正則化の統合により、特にセマンティックラベリングのような複雑なドメインにおいて、より解釈可能で一貫性のある画像翻訳が実現した。