[論文レビュー] Collaging on Internal Representations: An Intuitive Approach for Semantic Transfiguration.

Ryôhei Suzuki, Masanori Koyama+2 more|arXiv (Cornell University)|Nov 26, 2018

Generative Adversarial Networks and Image Synthesis被引用数 3

ひとこと要約

この論文は、トレーニング済みのGAN内の内部特徴表現を操作することで、任意の領域に対して意味的に画像を変容させる、新しいCNNベースの画像編集手法を紹介する。空間的条件付きバッチ正規化（sCBN）と特徴ブレンド技術を用いることで、実画像および生成画像の両方に対して直感的で領域特化型の意味的編集が可能となり、条件付き正規化層を用いるあらゆるGANと互換性がある。

ABSTRACT

We present a novel CNN-based image editing strategy that allows the user to change the semantic information of an image over an arbitrary region by manipulating the feature-space representation of the image in a trained GAN model. We will present two variants of our strategy: (1) spatial conditional batch normalization (sCBN), a type of conditional batch normalization with user-specifiable spatial weight maps, and (2) feature-blending, a method of directly modifying the intermediate features. Our methods can be used to edit both artificial image and real image, and they both can be used together with any GAN with conditional normalization layers. We will demonstrate the power of our method through experiments on various types of GANs trained on different datasets. Code will be available at this https URL.

研究の動機と目的

• トレーニング済みのGAN内の内部特徴表現を操作することで、実画像および生成画像に対して直感的で領域特化型の意味的編集を可能にする。
• 再トレーニングを必要とせず、さまざまなGANアーキテクチャおよびデータセットに適用可能な手法を開発すること。
• 空間的に条件付けられた特徴変調を通じて、ユーザーが任意の画像領域における意味的コンテンツを直接制御できるようにすること。
• 統一的で一般化可能なフレームワークを用いて、実画像および人工画像の両方の編集をサポートすること。

提案手法

• 本手法は、ユーザー定義の空間的ウェイトマップを特徴マップのバッチ正規化統計に条件づける空間的条件付きバッチ正規化（sCBN）を採用する。
• 特徴ブレンドと呼ばれる技術を導入し、中間特徴表現を直接変更することで意味的変更を実現する。
• sCBNと特徴ブレンドは、条件付き正規化層を用いるあらゆるGANアーキテクチャと互換性がある。
• 本手法は潜在的特徴空間で動作し、生成器の微調整や再トレーニングを必要とせずに意味的編集を可能にする。
• ユーザーが指定する空間的マスクが、修正の適用をガイドし、局所的な意味的変容を実現する。
• フレームワークはエンドツーエンド微分可能であり、既存のGANモデルに対してトレーニング後も適用可能である。

実験結果

リサーチクエスチョン

• RQ1 再トレーニングを伴わずに、トレーニング済みのGAN内の内部特徴表現を操作することで意味的編集を達成できるか？
• RQ2 空間的条件付きバッチ正規化（sCBN）は、ユーザー制御の下で領域特化型の画像編集をどの程度効果的に可能にするか？
• RQ3 特徴ブレンドは、視覚的に整合性があり意味的に意味のある画像変更を生成できるか？
• RQ4 本手法は、さまざまなGANアーキテクチャおよびデータセットにどの程度一般化できるか？
• RQ5 sCBNと特徴ブレンドの組み合わせは、先行手法と比較して編集の正確性と制御性をどの程度向上させるか？

主な発見

• 提案手法により、トレーニング済みのGANのみを用いて、実画像および生成画像の両方に対して直感的で領域特化型の意味的編集が可能である。
• sCBNにより、特徴変調の空間的制御が正確に可能となり、ユーザー定義のマスクに従った局所的意味的変更が実現できる。
• 特徴ブレンドは、意味的変容を実現するための中間特徴表現を直接操作する代替的編集経路を提供する。
• 本手法は、条件付き正規化層を用いるあらゆるGANと互換性があり、広範な適用可能性を有する。
• 実験により、さまざまなGANおよびデータセットで一貫した性能が確認され、本手法の一般化能力が裏付けられた。
• モデルの微調整や再トレーニングを必要とせず、高品質な編集が達成された。