[論文レビュー] GAN "Steerability" without optimization

Nurit Spingarn-Eliezer, Ron Banner+1 more|arXiv (Cornell University)|Dec 9, 2020

Generative Adversarial Networks and Image Synthesis参考文献 23被引用数 11

ひとこと要約

本論文は、最適化を必要とせず、生成器の重みから直接GANの「操縦可能」な軌道を閉形式で計算する手法を提案する。幾何的および意味的変換の正確な制御を可能にし、例えばズームと平行移動の間のトレードオフや、自然な軌道の終点を含む。カテゴリ間の属性転送に対しても最適化を伴わせない応用が可能である。

ABSTRACT

Recent research has shown remarkable success in revealing "steering" directions in the latent spaces of pre-trained GANs. These directions correspond to semantically meaningful image transformations e.g., shift, zoom, color manipulations), and have similar interpretable effects across all categories that the GAN can generate. Some methods focus on user-specified transformations, while others discover transformations in an unsupervised manner. However, all existing techniques rely on an optimization procedure to expose those directions, and offer no control over the degree of allowed interaction between different transformations. In this paper, we show that "steering" trajectories can be computed in closed form directly from the generator's weights without any form of training or optimization. This applies to user-prescribed geometric transformations, as well as to unsupervised discovery of more complex effects. Our approach allows determining both linear and nonlinear trajectories, and has many advantages over previous methods. In particular, we can control whether one transformation is allowed to come on the expense of another (e.g. zoom-in with or without allowing translation to keep the object centered). Moreover, we can determine the natural end-point of the trajectory, which corresponds to the largest extent to which a transformation can be applied without incurring degradation. Finally, we show how transferring attributes between images can be achieved without optimization, even across different categories.

研究の動機と目的

• 潜在空間内の分離可能で解釈可能な方向を発見するために反復的最適化に依存する従来のGAN操縦手法の制限を解消すること。
• 微調整や最適化ステップを一切行わずに、事前学習済みの生成器重みから直接操縦軌道を計算可能にすること。
• 変換の間のトレードオフ（例：ズームインと平行移動の併用）に対する明示的制御を可能とし、変換の範囲の自然な限界を定義すること。
• このアプローチを拡張し、GAN内の異なる画像カテゴリ間で最適化なしに属性転送を可能にすること。

提案手法

• 生成器ネットワークの重み構造を分析することで、潜在空間軌道の閉形式表現を導出する。
• 生成器の全結合層および畳み込み層を用い、潜在ベクトルの摂動が画像特徴に与える影響を解析的に特定する。
• 幾何的変換（例：平行移動、ズーム）に対応する線形および非線形軌道を、ネットワークの重みから直接構築する。
• 変換同士の干渉を制御するメカニズムを導入し、ユーザーが1つの変換が他の変換に影響を与えるかどうかを指定可能にする。
• 各軌道の自然な終点を、画像品質の劣化が生じるまでの最大変換範囲として、生成器の重み幾何構造から導出する。
• 同じ閉形式フレームワークを用いて、属性を1つのカテゴリから別のカテゴリにマッピングすることで、最適化なしにカテゴリ間属性転送を実現する。

実験結果

リサーチクエスチョン

• RQ1 生成器が学習した重みを活用することで、最適化を伴わずGANの操縦軌道を計算できるか？
• RQ2 ズームと平行移動の例のように、変換同士の干渉に対する制御を閉形式でどの程度達成できるか？
• RQ3 繰り返しのプローブを用いず、変換の最大自然範囲を解析的に特定できるか？
• RQ4 本手法を用いて、GANで生成される異なるカテゴリ間で最適化なしに属性転送が可能か？
• RQ5 最適化ベース手法と比較して、閉形式軌道は解釈可能性と制御性においてどのように異なるか？

主な発見

• 提案手法は、生成器重みから直接閉形式で操縦軌道を計算し、すべての最適化手順を回避する。
• ズームや平行移動などの変換が互いに干渉するかどうかを明示的に制御でき、ユーザー定義のトレードオフを実現できる。
• 各変換軌道の自然な終点が解析的に決定され、画像品質の劣化が生じるまでの最大範囲に対応する。
• 本手法により、顔の属性を1人の人物から別の人物に転送するなど、異なる画像カテゴリ間での最適化なし属性転送が可能である。
• 閉形式軌道は、すべての生成カテゴリにわたって一貫しており、最適化ベース手法と同等の意味的解釈可能性を維持するが、より高い効率性を実現する。
• 実験的結果から、本手法は追加の訓練やチューニングを要せず、最適化ベースのベースラインと同等またはそれ以上の分離性と制御性を達成していることが示された。