[論文レビュー] Editing in Style: Uncovering the Local Semantics of GANs

Edo Collins, Raja Bala+2 more|arXiv (Cornell University)|Apr 29, 2020

Generative Adversarial Networks and Image Synthesis参考文献 32被引用数 9

ひとこと要約

本稿では、生成器のスタイルベクトルを標的的に操作することで、参照画像のスタイル特徴をターゲット画像に転送する、シンプルで教師なしのローカル意味的編集手法を提案する。この手法は、StyleGANの潜在空間における意味的オブジェクトの分離表現を活用することで、セグメンテーションマスクや複雑な空間演算を必要とせずに、高い局所性と写実性を達成する。

ABSTRACT

While the quality of GAN image synthesis has improved tremendously in recent years, our ability to control and condition the output is still limited. Focusing on StyleGAN, we introduce a simple and effective method for making local, semantically-aware edits to a target output image. This is accomplished by borrowing elements from a source image, also a GAN output, via a novel manipulation of style vectors. Our method requires neither supervision from an external model, nor involves complex spatial morphing operations. Instead, it relies on the emergent disentanglement of semantic objects that is learned by StyleGAN during its training. Semantic editing is demonstrated on GANs producing human faces, indoor scenes, cats, and cars. We measure the locality and photorealism of the edits produced by our method, and find that it accomplishes both.

研究の動機と目的

• StyleGANの潜在空間に、意味的オブジェクトおよび部分が空間的に分離された表現を学習しているかどうかを調査すること。
• 事前学習済みモデルのみを用いて、GAN生成画像のローカル意味的編集をシンプルかつ教師なしで行う手法を開発すること。
• 外部の監視なしに、画像の部分（例：目、口、家具）を参照画像からターゲット画像に正確かつ局所的に転送できることを可能にすること。
• 複雑な空間モーフィングや追加の学習データに依存せずに、編集の局所性と写実性を評価すること。
• 潜在空間の逆問題を用いて、この手法を実画像へ拡張可能かどうかを検討すること。

提案手法

• 本手法は、StyleGANにおける分離されたスタイルベクトル表現を活用し、各レイヤーが異なる空間スケールでの特定の意味的属性に対応していることを利用している。
• ターゲット画像の関心領域（ROI）を、生成器の中間特徴マップに対する球面k平均クラスタリングを用いて同定する。
• ターゲット画像のスタイルベクトルと参照画像のスタイルベクトルとの間でスタイルベクトルの補間を実行し、参照の影響を制御する学習可能係数λを導入する。
• k平均クラスタリングから得られる空間マスクにより、ターゲットROI以外の領域は変更されず、グローバルな整合性が保たれる。
• ピxls単位のブレンドや空間変形を避けるために、局所的な編集を達成するためにグローバルな操作（スタイルベクトル補間）を用いる。
• 微調整を一切行わず、事前学習済みのStyleGAN生成器と潜在空間構造に依存するエンドツーエンドのアプローチを採用する。

実験結果

リサーチクエスチョン

• RQ1 StyleGANの潜在空間において、意味的オブジェクトおよび部分はどの程度空間的に分離されているか？
• RQ2 外部の監視や空間演算を一切用いずに、スタイルベクトルの操作によって局所的な意味的編集を達成できるか？
• RQ3 本手法による編集の局所性は、特徴ブレンドやポisson編集などの既存手法と比べてどのように異なるか？
• RQ4 編集画像において写実性はどの程度保持されているか？
• RQ5 潜在空間の逆問題を用いて、この手法を実画像へ拡張可能か？

主な発見

• FFHQおよびLSUN-BedroomsデータセットにおけるIn-MSEとOut-MSEの分析により、ターゲット領域外でのピxls単位の変化が最小限に抑えられ、非常に局所的な編集が達成されていることが確認された。
• FFHQでは、目や口の編集において強い局所性が得られたが、鼻の編集ではわずかな部分間相関が見られ、分離性と写実性のトレードオフが示された。
• 編集済みFFHQ画像のFréchet Inception Distance（FID）は5.4であり、ベースラインのStyleGAN FID（4.4）とわずかに高いにとどまり、写実性の保持が強いことが示された。
• LSUN-Bedroomsでは、編集画像のFIDが4.5であり、ベースライン（2.8）と同等の水準であり、多様な画像ドメインにわたり一貫した写実性が維持されていることが示された。
• 画像のアライメントを必要としない状況でも、同じIn-MSEに対してOut-MSEが低く抑えられることから、特徴ブレンドより優れた局所性を示した。
• 本手法は、人間の顔、屋内風景、ネコ、自動車など多様なドメインにわたり有効であり、広範な適用可能性を示した。