[論文レビュー] HyperInverter: Improving StyleGAN Inversion via Hypernetwork

Tan M. Dinh, Anh Tran+2 more|arXiv (Cornell University)|Dec 1, 2021

Generative Adversarial Networks and Image Synthesis参考文献 47被引用数 8

ひとこと要約

HyperInverter は、高精度再構成と優れた編集可能性を実現する二段階のエンコーダベース手法を提案する。まず、画像を StyleGAN2 の W 空間にエンコードして編集可能性を確保し、次にハイパーネットを用いて残差重みを予測し、生成器を微調整することで、最適化やファインチューニングを伴わずに詳細なディテールを回復する。

ABSTRACT

Real-world image manipulation has achieved fantastic progress in recent years as a result of the exploration and utilization of GAN latent spaces. GAN inversion is the first step in this pipeline, which aims to map the real image to the latent code faithfully. Unfortunately, the majority of existing GAN inversion methods fail to meet at least one of the three requirements listed below: high reconstruction quality, editability, and fast inference. We present a novel two-phase strategy in this research that fits all requirements at the same time. In the first phase, we train an encoder to map the input image to StyleGAN2 $\mathcal{W}$-space, which was proven to have excellent editability but lower reconstruction quality. In the second phase, we supplement the reconstruction ability in the initial phase by leveraging a series of hypernetworks to recover the missing information during inversion. These two steps complement each other to yield high reconstruction quality thanks to the hypernetwork branch and excellent editability due to the inversion done in the $\mathcal{W}$-space. Our method is entirely encoder-based, resulting in extremely fast inference. Extensive experiments on two challenging datasets demonstrate the superiority of our method.

研究の動機と目的

• W 空間では編集可能性は高いが再構成精度が低い一方、W+ 空間では再構成精度は高いが編集可能性が低いという、GAN の再構成と編集のトレードオフを解消する。
• 最適化ベースやファインチューニングベースの再構成手法における高い推論コストを克服し、リアルタイムやインタラクティブな応用に適する。
• 最適化や生成器のファインチューニングを必要とせず、高速な推論を維持しながら、最新の最適化ベース手法（例：PTI）と同等の再構成品質を達成する完全なエンコーダベース手法を開発する。
• 潜在コードと生成器重みを同時に補間することで、高品質な画像間補間を実現し、視覚的整合性とディテールの保持を向上させる。

提案手法

• 第一段階：事前学習済みの StyleGAN2 生成器の W 空間に、通常のエンコーダを用いて実画像をマッピングし、高い編集可能性を確保する。
• 第二段階：一連のハイパーネットを用いて、生成器の元のパラメータを微調整するための残差重みを予測する。これにより、W 空間へのエンコード時に失われた微細なディテールが回復される。
• ハイパーネットは入力画像と初期再構成画像に条件付けられており、生成器の畳み込み層ごとに層ごとの残差更新を生成する。
• 予測された残差重みで更新された改良された生成器が、最終的な再構成画像を合成する。これにより、W 空間の編集可能性と、強化された再構成忠実度を両立する。
• 推論中に個々の画像の最適化や生成器のファインチューニングを一切行わないため、ニアリアルタイムの性能が実現可能である。
• 潜在コードと生成器重みを同時に補間する新しい補間手法を導入し、画像間遷移の視覚的質を向上させた。

実験結果

リサーチクエスチョン

• RQ1 最適化ベース手法（例：PTI）と同等の再構成品質を達成しつつ、高速な推論を維持できる完全なエンコーダベース手法は可能か？
• RQ2 個々の画像の最適化や生成器のファインチューニングを必要とせず、ハイパーネットが W 空間への再構成で失われた微細な画像ディテールを効果的に回復できるか？
• RQ3 潜在コードと生成器重みを同時に補間することで、従来の潜在コード補間と比較して滑らかでより現実的な画像遷移が得られるか？
• RQ4 ハイパーネットの隠れ層次元 D や更新対象の層の選択といったアーキテクチャ的選択が、再構成品質やディテール回復にどのように影響するか？

主な発見

• HyperInverter は、現在の最良手法である最適化ベース手法 PTI と同等の再構成品質を達成しているが、推論速度は 3000 倍高速である。
• ハイパーネットを用いた第二段階が不可欠である：アブレーションスタディでは、この段階を省いた場合、顔の化粧、影、背景などのディテールが失われるなど、再構成品質が著しく低下することが示された。
• 層ごとの外見コードを用いる完全なハイパーネット設計が、全層で共通のコードを共有する簡略化版や、入力画像特徴のみを用いるバージョンを上回る性能を発揮した。
• ハイパーネットの隠れ次元 D=256 が最良の性能を示した。アブレーションでは、D が小さすぎたり大きすぎたりすると結果が劣化することが確認された。
• 残差重みの更新は、主な生成器ブロックおよび最高解像度（1024×1024）で特に顕著であり、第二段階が顔の微細なディテールの精緻な復元に集中していることを裏付けた。
• 潜在コードと生成器重みを同時に補間する本手法の補間法は、滑らかで現実的で、帽子や手のディテールなども従来の潜在コード補間よりもよく保持された画像遷移を生成した。