[論文レビュー] Unpaired Image-to-Image Translation using Adversarial Consistency Loss

Yihao Zhao, Ruihai Wu+1 more|arXiv (Cornell University)|Mar 10, 2020

Advanced Image Processing Techniques参考文献 34被引用数 4

ひとこと要約

本論文は、サイクル整合性損失の代わりに敵対的整合性損失を用いることで、形状の変更やオブジェクトの削除を可能にし、重要な特徴を保持する、新しい非ペaired画像対画像変換フレームワークACL-GANを提案する。ピクセルレベルの再構成ではなく、分布レベルの類似性を促進することで、眼鏡の除去、男性から女性への変換、セルフィーからアニメ調への変換というタスクで最先端の結果を達成し、より現実的で多様性に富んだ出力を実現した。

ABSTRACT

Unpaired image-to-image translation is a class of vision problems whose goal is to find the mapping between different image domains using unpaired training data. Cycle-consistency loss is a widely used constraint for such problems. However, due to the strict pixel-level constraint, it cannot perform geometric changes, remove large objects, or ignore irrelevant texture. In this paper, we propose a novel adversarial-consistency loss for image-to-image translation. This loss does not require the translated image to be translated back to be a specific source image but can encourage the translated images to retain important features of the source images and overcome the drawbacks of cycle-consistency loss noted above. Our method achieves state-of-the-art results on three challenging tasks: glasses removal, male-to-female translation, and selfie-to-anime translation.

研究の動機と目的

• サイクル整合性損失の限界を解決すること。特に、ピクセルレベルの再構成を強制し、眼鏡やひげといった望ましくない特徴を保持してしまう点。
• ペアデータを必要とせず、形状の変更、オブジェクトの削除、マルチモーダル出力が可能な現実的な画像変換を実現すること。
• ピクセルレベルの同一性ではなく、分布レベルの整合性によって、入力画像と出力画像のドメイン共通特徴を維持する手法を開発すること。
• 従来のサイクル整合性ベースや二重生成器ベースの手法と比較して、より高品質で多様性に富み、現実的な変換を達成すること。

提案手法

• 敵対的整合性損失（ACL）を導入し、ピクセルレベルの再構成を要件とせず、共通するドメイン特徴において入力画像と変換画像が類似していることを促進する。
• 生成器と判別器を備えたGANベースのフレームワークを採用。生成器は入力ドメインから出力ドメインに画像を変換し、判別器は本物と生成画像を区別する。
• MUNITにインspiredされたスタイル条件付き生成器アーキテクチャを採用。これにより、コンテンツとスタイルの分離表現が可能となり、マルチモーダルな変換が実現できる。
• 敵対的整合性損失に加え、標準の敵対的損失とアイデンティティ損失を組み合わせることで、訓練の安定化と特徴の保持を向上させる。
• 事前学習済みの特徴抽出器（例：VGG）を用いて、中間層での特徴レベルの類似性を計算し、入力画像と変換画像の間の整合性を測定する。
• サイクル整合性や二重生成器を必要としないため、CouncilGANなどの手法と比較してモデルの複雑さと計算コストを低減できる。

実験結果

リサーチクエスチョン

• RQ1 敵対的整合性損失は、サイクル整合性損失を効果的に置き換え可能であり、重要な特徴を保持するとともに、形状の変更を可能にするか？
• RQ2 顔の構造的変化が大きなタスク（例：男性から女性への顔変換、セルフィーからアニメ調へのスタイル変換）において、本手法はどのように性能を発揮するか？
• RQ3 ペアデータを用いず、サイクル整合性ベースのモデルと比較して、ACL-GANはより優れた画像品質と多様性を達成できるか？
• RQ4 サイクル整合性の欠如によりアーティファクトや品質の低下が生じるか？また、そのリスクをどのように軽減しているか？

主な発見

• ACL-GANは、眼鏡の除去、男性から女性への顔変換、セルフィーからアニメ調への変換という3つの挑戦的な非ペaired画像変換タスクで最先端の性能を達成した。
• 男性から女性への顔変換タスクにおいて、ACL-GANは、ひげのないより女性らしい顔、より長い髪の特徴を持つ顔を生成し、CycleGAN や MUNIT といったサイクル整合性ベースのモデルを、定性的および定量的評価の両面で上回った。
• セルフィーからアニメ調への変換タスクでは、ベースラインと比較して、よりスタイリッシュで整った顔の特徴（例：大きな目）を生成した。U-GAT-ITでさえも、パラメータ数の半分未満で、ライトモードで同様の性能を達成した。
• ピクセルレベルの再構成に依存する手法とは異なり、眼鏡やその他の大きなオブジェクトを痕跡を残さずに効果的に除去できた。
• 二重生成器と判別器を用いるCouncilGANと比較して、敵対的整合性損失による明示的な特徴整合性のおかげで、ACL-GANはより高品質な出力を得られた。
• 失敗事例としては、目立たない眼鏡の不完全な除去、顔が小さかったり、ぼやけていたりする場合のアーティファクトが観察され、稀なまたは複雑な入力分布の処理における限界が示された。