[論文レビュー] GAN Inversion for Image Editing via Unsupervised Domain Adaptation

Siyu Xing, Chen Gong+4 more|arXiv (Cornell University)|Nov 22, 2022

Domain Adaptation and Few-Shot Learning被引用数 6

ひとこと要約

本稿では、教師ありドメイン適応（UDA）を活用して、ペairedの高品質（HQ）リファレンスが存在しない低品質（LQ）画像の再構築と編集を可能にする、新しい教師なし GAN 逆問題手法 UDA-Inversion を提案する。HQ 画像をソースドメイン、LQ 画像をラベルなしのターゲットドメインとして扱い、潜在空間における再構築誤差とドメイン差違を最小化することで、複数のデータセットで教師あり手法と同等の性能を達成する。

ABSTRACT

Existing GAN inversion methods work brilliantly in reconstructing high-quality (HQ) images while struggling with more common low-quality (LQ) inputs in practical application. To address this issue, we propose Unsupervised Domain Adaptation (UDA) in the inversion process, namely UDA-inversion, for effective inversion and editing of both HQ and LQ images. Regarding unpaired HQ images as the source domain and LQ images as the unlabeled target domain, we introduce a theoretical guarantee: loss value in the target domain is upper-bounded by loss in the source domain and a novel discrepancy function measuring the difference between two domains. Following that, we can only minimize this upper bound to obtain accurate latent codes for HQ and LQ images. Thus, constructive representations of HQ images can be spontaneously learned and transformed into LQ images without supervision. UDA-Inversion achieves a better PSNR of 22.14 on FFHQ dataset and performs comparably to supervised methods.

研究の動機と目的

• 既存の手法がペアの高品質（HQ）リファレンスが不足するため困難である、実世界の低品質（LQ）画像における GAN 逆問題の課題に対処すること。
• ペアの HQ-LQ データに依存する教師あり GAN 逆問題手法の限界を克服すること。実世界の状況では、このようなデータがしばしば入手不可能である。
• 事前学習済みの GAN とラベルなしの LQ データのみを用いて、高精度な画像再構築と意味的編集を可能にすること。
• 潜在空間におけるソースドメイン（HQ 画像）からターゲットドメイン（LQ 画像）への知識転送を、教師なしドメイン適応（UDA）を用いて実現すること。
• 直接的な教師信号なしに、HQ 画像の構築的表現が自発的に学習され、LQ 画像に適応可能であることを示すこと。

提案手法

• 教師なしドメイン適応（UDA）の文脈において、高品質（HQ）画像をソースドメイン、低品質（LQ）画像をラベルなしのターゲットドメインとして扱う。
• 再構築問題を、ソースドメインの再構築誤差と、潜在空間におけるソースドメインとターゲットドメインの分布差違を最小化する問題として定式化する。
• 潜在空間におけるソースドメインとターゲットドメインの分布差違を測定するための差違関数 $ d_{s,t} $ を導入する。
• 一般化バウンドを最小化するようにエンコーダーを最適化し、これによりソース再構築誤差とドメイン差違 $ d_{s,t} $ を統合する。これにより、頑健な潜在コード学習が保証される。
• 事前学習済みの StyleGAN 生成器を用いて、逆問題化された潜在コードから画像を再構築・編集し、潜在空間の操作による意味的編集を可能にする。
• 理論的保証（定理 1）を適用し、ターゲットドメインの再構築誤差がソース誤差とドメイン差違によって上界で抑えられることを示し、最適化目的関数の妥当性を裏付ける。

実験結果

リサーチクエスチョン

• RQ1 ペアの高品質リファレンスが存在しない低品質画像における GAN 逆問題に、教師なしドメイン適応を効果的に適用できるか？
• RQ2 ソースドメイン（HQ 画像）からの知識が、ターゲットドメイン（LQ 画像）にどの程度転送可能か。特に、正確な再構築と編集を可能にするか？
• RQ3 本手法 UDA-Inversion は、画像再構築および編集の忠実度において、定量的・定性的に教師ありおよび教師なしのベースラインと比較してどのように差がつくか？
• RQ4 潜在空間におけるドメイン差違項 $ d_{s,t} $ は、LQ 画像における逆問題モデルの頑健性および性能向上にどの程度寄与しているか？
• RQ5 複数のドメイン（例：FFHQ、Stanford Cars）にまたがって一般化可能か。特に、教師なし条件下でも高品質な編集と再構築を維持できるか？

主な発見

• UDA-Inversion は、ペアの HQ-LQ データが存在しないにもかかわらず、FFHQ および Stanford Cars データセットの両方で、教師あり手法と同等の画像再構築および編集性能を達成する。
• FFHQ データセットでは、UDA-Inversion は 2 つのベースラインよりも PSNR、SSIM、MSE の観点で HQ 画像の逆問題において優れている。また、LQ 画像再構築においても、FID および SSIM スコアが類似しており、良好な性能を示す。
• 車両データセットでは、FID において一貫してベースラインを上回り、他の指標でも類似した性能を示しており、ドメインシフトに対して強い頑健性を示している。
• 編集の定量的評価では、ソースドメイン編集において FID でベースラインを上回り、特に「ポーズ」属性の編集において競争力のある結果を達成している。
• アブレーションスタディの結果、ドメイン差違項 $ d_{s,t} $ を除去すると、マスクなどの細部の再構築に著しい失敗が生じることから、LQ 画像の逆問題の安定化においてその重要性が明確に示された。
• 定性的な結果では、UDA-Inversion は E2Style や HFGI などのベースラインと比較して、歪みが少なく、意味的変更がより一貫した視覚的に魅力的な編集結果を生成している。