[論文レビュー] Whitening and Coloring transform for GANs.

Aliaksandr Siarohin, Enver Sangineto+1 more|arXiv (Cornell University)|Jun 1, 2018

Generative Adversarial Networks and Image Synthesis参考文献 35被引用数 14

ひとこと要約

本論文は、バッチ正規化（BN）および条件付きバッチ正規化（cBN）を一般化するため、特徴の標準化とスケーリングを学習可能なホワイトニングおよびカラーリング変換（WCT）に置き換えるGAN用のホワイトニングおよびカラーリング変換（WCT）を提案する。この手法は、複数のデータセットおよびGANフレームワークにおいて、トレーニング速度を向上させ、より高品質な画像を生成し、CIFAR-10で最先端のFIDスコアを達成する。

ABSTRACT

Batch Normalization (BN) is a common technique used both in discriminative and generative networks in order to speed-up training. On the other hand, the learnable parameters of BN are commonly used in conditional Generative Adversarial Networks for representing class-specific information using conditional Batch Normalization (cBN). In this paper we propose to generalize both BN and cBN using a Whitening and Coloring based batch normalization. We apply our method to conditional and unconditional image generation tasks and we show that replacing the BN feature standardization and scaling with our feature whitening and coloring improves the final qualitative results and the training speed. We test our approach on different datasets and we show a consistent improvement orthogonal to different GAN frameworks. Our CIFAR-10 supervised results are higher than all previous works on this dataset.

研究の動機と目的

• バッチ正規化（BN）および条件付きバッチ正規化（cBN）のGANにおける限界を解消するため、より汎用性の高い正規化手法を導入すること。
• 非条件付きおよび条件付き画像生成タスクにおけるトレーニング効率と生成品質を向上させること。
• BN や cBN よりも、クラス固有の統計および特徴レベルの統計をより効果的に捉える正規化手法を開発すること。
• 多様なデータセットおよびGANアーキテクチャにおいて一貫した性能向上を示すことを実証すること。

提案手法

• BN や cBN における標準的な特徴正規化を、バッチレベルの特徴統計に基づく学習可能なホワイトニングおよびカラーリング変換（WCT）に置き換える。
• 特徴の相関を解消し、単位分散に正規化するホワイトニング処理を実行した後、特徴の相関を回復・制御する学習可能なカラーリング変換を適用する。
• 条件付きおよび非条件付きGANフレームワークの生成器および判別器ネットワークに、WCTを統合する。
• GANと同時にWCTのパラメータをエンドツーエンドで学習させ、生成に最適な特徴変換をネットワークが学習できるようにする。
• バックプロパゲーションとGANの目的関数との共同最適化を可能にする、微分可能かつ可逆なWCTの定式化を用いる。

実験結果

リサーチクエスチョン

• RQ1 BN や cBN よりも汎用性の高い正規化手法が、GANにおけるトレーニング速度と画像品質の向上に寄与するか。
• RQ2 WCTは、画像生成における特徴表現学習において、BN や cBN と比べてどのように異なるか。
• RQ3 WCTは、異なるデータセットおよびGANアーキテクチャにおいて一貫して性能向上を示すか。
• RQ4 条件付きGANにおいて、WCTはcBNよりも優れたクラス固有の表現を学習できるか。

主な発見

• 提案されたWCT手法は、CIFAR-10で、このベンチマークにおけるすべての先行研究を上回る最先端のFIDスコアを達成した。
• WCTを用いることで、標準のBNやcBNと比較してトレーニングの収束が速く、最適化のダイナミクスが改善された。
• 定性的な結果から、複数のデータセットにおいて、高精細で多様性に富んだ画像サンプルが得られた。
• 異なるGANフレームワークにおいても、汎用性が高く、アーキテクチャの選択に関係なく一貫した性能向上が示された。