[論文レビュー] PandA: Unsupervised Learning of Parts and Appearances in the Feature Maps of GANs

J. E. Oldfield, Christos Tzelepis+3 more|arXiv (Cornell University)|May 31, 2022

Generative Adversarial Networks and Image Synthesis被引用数 10

ひとこと要約

PandA は、事前学習された GAN の特徴マップにおいて、アーキテクチャに依存しない、教師なしの方法で解釈可能な部品と外観要因を同時に発見するためのアーキテクチャに依存しない、教師なしの手法を提案する。半非負テンソル分解を用いることで、教師なしの文脈に配慮したピクセル単位の画像編集を可能にし、最先端の手法と比較して優れた正確性と 1/400 のトレーニング時間で実現する。

ABSTRACT

Recent advances in the understanding of Generative Adversarial Networks (GANs) have led to remarkable progress in visual editing and synthesis tasks, capitalizing on the rich semantics that are embedded in the latent spaces of pre-trained GANs. However, existing methods are often tailored to specific GAN architectures and are limited to either discovering global semantic directions that do not facilitate localized control, or require some form of supervision through manually provided regions or segmentation masks. In this light, we present an architecture-agnostic approach that jointly discovers factors representing spatial parts and their appearances in an entirely unsupervised fashion. These factors are obtained by applying a semi-nonnegative tensor factorization on the feature maps, which in turn enables context-aware local image editing with pixel-level control. In addition, we show that the discovered appearance factors correspond to saliency maps that localize concepts of interest, without using any labels. Experiments on a wide range of GAN architectures and datasets show that, in comparison to the state of the art, our method is far more efficient in terms of training time and, most importantly, provides much more accurate localized control. Our code is available at: https://github.com/james-oldfield/PandA.

研究の動機と目的

• 教師なしで、アーキテクチャに依存しない一般用途の手法を開発し、GAN 生成画像の解釈と編集を可能にすること。
• 事前学習された GAN の特徴マップにおいて、空間的部品とその外観要因を教師なしで同時に発見すること。
• 手動による領域のラベル付けやセグメンテーションマスクに依存せずに、正確で文脈に配慮したピクセル単位の局所的画像編集を可能にすること。
• 従来の勾配ベースや最適化に依存するアプローチと比較して、大幅にトレーニング時間を短縮すること。
• ラベルを一切使用せずに、学習された概念のためのサリエンシー・マップを特定すること。

提案手法

• 本手法は、事前学習された GAN からの特徴マップのデータセット $\mathcal{Z} \in \mathbb{R}^{M \times H \times W \times C}$ に半非負テンソル分解を適用する。
• 制約付き最適化を通じて、グローバルな部品要因と外観要因に特徴マップを分解し、分離可能な表現学習を可能にする。
• 部品要因は、収束性と解釈可能性を向上させるために、高階特異値分解（HOSVD）を初期化として用いた交互最適化により学習される。
• 再構成損失に関する勾配降下法を用いて外観要因を精緻化することで、顕著で意味的に意味のあるパターンに対応させる。
• 各領域ごとのヤコビアンや勾配計算を避けるべく、1回の効率的な分解ステップに依存する。
• 本フレームワークは、アーキテクチャの変更なしに、StyleGAN、ProgressiveGAN、BigGAN など多様な GAN アーキテクチャと互換性を持つ。

実験結果

リサーチクエスチョン

• RQ1 人為的な領域ラベルやセグメンテーションマスクを一切使用せずに、GAN 特徴マップにおいて解釈可能な部品と外観要因を発見できるか？
• RQ2 教師なしの特徴マップ分解のみを用いて、ピクセル単位の制御が可能な局所的画像編集が可能か？
• RQ3 反復的最適化や勾配計算を要する最先端の手法と比較して、本手法は著しくトレーニング時間を短縮できるか？
• RQ4 教師なしで、学習された概念のための意味的なサリエンシー・マップに対応する外観要因が発見できるか？
• RQ5 アーキテクチャ固有のチューニングなしに、多様な GAN アーキテクチャに一般化可能か？

主な発見

• PandA は、LowRankGAN よりも 1/400 未満、StyleSpace よりも 1/170 未塔のトレーニング時間にまで短縮し、顕著な効率性の向上を示した。
• 本手法は、手動による領域ラベル付けが不要なにもかかわらず、最先端の手法を上回る正確な局所的画像編集を実現した。
• PandA が発見した外観要因は、『背景』や『肌』といった概念に対して意味的なサリエンシー・マップに対応しており、ラベルなしでも有効である。
• 異なるランクやトレーニングイテレーションにおいても、部品要因は安定的かつ意味的に解釈可能であることが示され、耐性があることがわかった。
• 本手法は、StyleGAN1、StyleGAN2、StyleGAN3、ProgressiveGAN など、すべてのテストされた GAN アーキテクチャにおいて『背景』といった共通の概念を効果的に発見した。
• HOSVD 初期化の使用により、収束性が向上し、SVD に基づく代替手法と比較してより解釈可能な初期要因が得られた。