[論文レビュー] Neural Photo Editing with Introspective Adversarial Networks

Andrew Brock, Theodore Lim+2 more|arXiv (Cornell University)|Sep 22, 2016

Generative Adversarial Networks and Image Synthesis参考文献 27被引用数 243

ひとこと要約

本論文は Neural Photo Editor と Introspective Adversarial Network (IAN) を提案する。IAN は Multiscale Dilated Convolutions と Orthogonal Regularization を備えた VAE-GAN ハイブリッドで、CelebA、SVHN、CIFAR-100、Imagenet を対象に写真の現実感ある編集と強力な再構成を実証し、競争力の半教師付き結果を示す。

ABSTRACT

The increasingly photorealistic sample quality of generative image models suggests their feasibility in applications beyond image generation. We present the Neural Photo Editor, an interface that leverages the power of generative neural networks to make large, semantically coherent changes to existing images. To tackle the challenge of achieving accurate reconstructions without loss of feature quality, we introduce the Introspective Adversarial Network, a novel hybridization of the VAE and GAN. Our model efficiently captures long-range dependencies through use of a computational block based on weight-shared dilated convolutions, and improves generalization performance with Orthogonal Regularization, a novel weight regularization method. We validate our contributions on CelebA, SVHN, and CIFAR-100, and produce samples and reconstructions with high visual fidelity.

研究の動機と目的

• 潜在空間操作インターフェース（文脈的ペイントブラシ）を介して、既存の画像に大規模で意味的に一貫性のある編集を可能にする。
• 効率的な推論で高忠実度の再構成を提供する VAE-GAN ハイブリッド（IAN）を開発する。
• Multiscale Dilated Convolution ブロックと直交正則化を用いてモデルの表現力と再構成品質を向上させる。
• 多様なデータセット（CelebA、SVHN、CIFAR-100、Imagenet）でアプローチを実証し、競争力のある半教師あり性能を示す。
• 再構成指向の変更をマスクを通じて元の画像へ適用する編集転送機構を提供する。

提案手法

• 文脈的ペイントブラシと再構成・編集転送式を介して潜在空間を間接的に操作する Neural Photo Editor を導入する。
• 推論を効率化し再構成を改善するためにエンコーダ/判別器の特徴を共有する VAE-GAN ハイブリッドである Introspective Adversarial Network (IAN) を提案する。
• 生成器/エンコーダには L_img（L1 ピクセル量）、L_feature（判別器空間の特徴量）、L_adv（三分敵対損失）の3つの損失項を用い、VAE 正則化のための KL 発散項を加える。
• 訓練を安定化させサンプル品質を向上させるため、実データ・生成データ・再構成データという3通りの出力を持つ三分的 adversarial loss を用いる。
• 生成器に Multiscale Dilated Convolution (MDC) ブロックを組み込み、受容野を効率的に拡大する。Standard MDC と Full-Rank MDC のバリエーションを提供する。
• Orthogonal Regularization を導入して重みを直交多様体の周辺に保つよう促し、一般化と再構成の安定性を向上させる。）

実験結果

リサーチクエスチョン

• RQ1 潜在表現をピクセルではなく操作することで、ニューラル編集子は既存の画像に意味的に有効な編集を提供できるか。
• RQ2 VAE 風推論と GAN ベース生成を統合したIANは、写真編集に適した高忠実度の再構成を生み出すか。
• RQ3 MDC ブロックと Orthogonal Regularization は生成モデルの再構成品質と一般化を改善するか。
• RQ4 モデルは多様なデータセットで良好に機能し、半教師付き学習タスクをサポートできるか。
• RQ5 再構成から元の画像への編集を適用する edit-transfer マスキングアプローチはどれほど有効か。

主な発見

• Neural Photo Editor はピクセルレベルの差分を潜在空間へバックプロパゲーションすることで大規模かつ一貫性のある編集を可能にし、意味的に有意義な変化を生み出す。
• IAN は判別器の特徴を推論ネットワークとして再利用することで推論を効率化し、再構成品質とパラメータ効率を改善する。
• MDC ブロックは受容野を最小のパラメータコストで拡張し、再構成とタスク全般の性能を向上させる。
• Orthogonal Regularization はデータセットを跨いだ一般化と再構成品質を向上させる（例：CelebA 属性タスクと CIFAR-100 のアブレーションで）。
• 三分的 adversarial loss（real, generated, reconstructed）はサンプル品質を高め訓練を安定化させ、再構成・補間の品質を向上させる。
• 半教師付き SVHN では IAN が競争力のある精度を達成し、さまざまな評価設定で複数のベースラインを上回る改善を示す。