[論文レビュー] Semi-Supervised StyleGAN for Disentanglement Learning

Weili Nie, Tero Karras+5 more|arXiv (Cornell University)|Mar 6, 2020

Digital Media Forensic Detection参考文献 30被引用数 14

ひとこと要約

本論文では、StyleGANに基づく半教師付き生成モデルであるSemi-StyleGANを提案する。高解像度の合成および実画像において、0.25%〜2.5%のラベル付きデータのみを用いて、完全教師ありの分解能品質に近い性能を達成する。相互情報量損失と生成器の制御性を測るための新規指標を統合することで、分解能表現学習と制御可能な生成の間には根本的なトレードオフが存在することが明らかになった。同時に、一般化可能なセマンティック的微細な画像編集を可能にする。

ABSTRACT

Disentanglement learning is crucial for obtaining disentangled representations and controllable generation. Current disentanglement methods face several inherent limitations: difficulty with high-resolution images, primarily focusing on learning disentangled representations, and non-identifiability due to the unsupervised setting. To alleviate these limitations, we design new architectures and loss functions based on StyleGAN (Karras et al., 2019), for semi-supervised high-resolution disentanglement learning. We create two complex high-resolution synthetic datasets for systematic testing. We investigate the impact of limited supervision and find that using only 0.25%~2.5% of labeled data is sufficient for good disentanglement on both synthetic and real datasets. We propose new metrics to quantify generator controllability, and observe there may exist a crucial trade-off between disentangled representation learning and controllable generation. We also consider semantic fine-grained image editing to achieve better generalization to unseen images.

研究の動機と目的

• 教師なし分解能表現学習法の限界、特に同定不能性と高解像度画像へのスケーラビリティの低さを是正すること。
• 生成器レベルでの分解能表現の品質を評価することで、分解能表現学習と制御可能な画像生成のギャップを埋めること。
• 最小限の監視情報で複雑な高解像度データセットにおける半教師付き分解能表現学習を可能にすること。
• 未知の画像に対しても一般化可能なセマンティック的微細な画像編集が可能な手法の開発。
• 分解能研究のベンチマークとしての高品質・高解像度の合成データセットを新たに作成すること。

提案手法

• 教師なし分解能表現学習の性能向上を目的に、StyleGANに相互情報量損失（Info-StyleGAN）を導入する。
• 限られたラベル付きデータ上で、教師なしGAN損失と教師あり対照的損失を組み合わせたハイブリッド学習目的を有するSemi-StyleGANを提案する。
• 微細なスタイル制御を可能にするために、低解像度ブロックを新しい入力ブロックに置き換えた変更版生成器アーキテクチャ、Semi-StyleGAN-fineを設計する。
• 入力画像の32×32にダウンサンプリングしたバージョンから、微細な要因コードを推定するエンコーダーを訓練する。
• 生成器の制御性と分解能品質を定量化するための新規評価指標、MIG-genおよびL2-genを導入する。
• 一般化可能な新規テスト画像への適用を可能にするために、画像対画像設定にモデルを拡張し、セマンティック的微細な編集を実現する。

実験結果

リサーチクエスチョン

• RQ1 半教師付き学習は、極めて少ないラベル付きデータ（0.25%〜2.5%）を用いても、高解像度画像における分解能品質を顕著に向上させ得るか？
• RQ2 分解能表現の品質は生成器の制御性と相関しているのか、それとも根本的なトレードオフが存在するのか？
• RQ3 微細な制御と同時に潜在空間の走査を実行した場合、半教師付きのStyleGANベースのモデルは未知の画像に一般化可能か？
• RQ4 MIG-gen や L2-gen といった新規指標は、従来のエンコーダーに基づく指標と比較して、分解能評価においてどのように差を示すか？
• RQ5 限られた監視情報（0.25%〜2.5%）を用いた場合、完全教師ありの分解能表現学習に近い性能をどの程度達成できるか？

主な発見

• Info-StyleGANは、高解像度データにおいて、多数の最先端の教師なし分解能表現学習法を上回る分解能品質を達成する。
• Semi-StyleGANは、合成データおよび実データの両方で、0.25%〜2.5%のラベル付きデータのみを用いて、完全教師ありの性能に近い分解能表現を達成する。
• 提案されたMIG-genおよびL2-gen指標により、分解能表現の学習と制御可能な画像生成の間に根本的なトレードオフが存在することが明らかになった。
• Semi-StyleGAN-fineは、1%のラベル付きデータのみを用いても、未知のテスト画像に対して一般化可能な微細な画像編集を実現し、顔貌の同一性と高い画像品質を維持する。
• 1%を超える監視率を上回っても、性能の向上が顕著に見られず、サンプル効率の飽和状態にあることが示された。
• 本手法は、新しいロボットの位置やIsaac3Dにおける未知の物体、CelebAにおける新しい顔のアイデンティティに対しても、良好に一般化する。