[論文レビュー] Whitening and Coloring batch transform for GANs

Aliaksandr Siarohin, Enver Sangineto+1 more|arXiv (Cornell University)|Jun 1, 2018

Human Pose and Action Recognition被引用数 15

ひとこと要約

本稿では、GANおよびcGANにおける学習安定性と生成品質の向上を目的として、ホワイトニングとカラーリング（WC）バッチ正則化変換を提案する。標準バッチ正則化の代わりに、コレスキー分解を用いた全特徴ホワイトニングと学習可能な多次元カラーリング変換を採用することで、表現能力が向上し、cGANにおけるクラス固有の条件付けがより効果的に行えるようになる。CIFAR-10およびCIFAR-100で最先端のFIDスコアを達成した。

ABSTRACT

Batch Normalization (BN) is a common technique used to speed-up and stabilize training. On the other hand, the learnable parameters of BN are commonly used in conditional Generative Adversarial Networks (cGANs) for representing class-specific information using conditional Batch Normalization (cBN). In this paper we propose to generalize both BN and cBN using a Whitening and Coloring based batch normalization. We show that our conditional Coloring can represent categorical conditioning information which largely helps the cGAN qualitative results. Moreover, we show that full-feature whitening is important in a general GAN scenario in which the training process is known to be highly unstable. We test our approach on different datasets and using different GAN networks and training protocols, showing a consistent improvement in all the tested frameworks. Our CIFAR-10 conditioned results are higher than all previous works on this dataset.

研究の動機と目的

• 全特徴ホワイトニングによるコレスキー分解を用いて、損失関数の地形の条件付けを改善することで、GAN学習の不安定性を解消すること。
• スカラーファイルタの代わりに学習可能な多次元カラーリングフィルタを用いることで、条件付きバッチ正則化（cBN）を一般化し、より良いクラス固有の表現を可能にすること。
• クラスに依存しないフィルタの共有辞書とソフトアサインメント重みを用いることで、cGANにおけるモデルの複雑さを低減し、クラス固有のカラーリング行列を生成すること。
• 複数のデータセットおよびGANアーキテクチャにおいて、学習速度と生成品質の両面で一貫した向上を示すこと。

提案手法

• ミニバッチ内のチャネル間特徴を相関除去するために、コレスキーに基づくホワイトニングを適用し、標準BNのチャネル単位正則化に代わる。
• 学習可能なカラーリング変換を導入し、ホワイトニングされた特徴を多次元フィルタを用いて新たな分布に再投影することで、表現能力を保持する。
• cGANでは、cBNのスカラーパラメータγとβをクラス固有のカラーリング行列Γyに置き換え、より豊かで表現力のある条件付き特徴変換を実現する。
• 各クラスyが共有された基本フィルタの重み付き組み合わせに対応するソフトアサインメント機構を用い、クラス数の増加に伴うパラメータ増加を抑制する。
• WCおよびcWCモジュールを生成器ネットワークへのプラグイン置換として実装し、標準GAN学習プロトコルと互換性を持つ。
• すべての生成器層にWC変換を適用し、標準の敵対的損失で学習を行い、Inceptionスコア（IS）およびFrechet Inception Distance（FID）を用いて評価する。

実験結果

リサーチクエスチョン

• RQ1 コレスキー分解による全特徴ホワイトニングは、標準バッチ正則化と比較して、GANにおける学習安定性と収束性を向上させることができるか？
• RQ2 スカラーパラメータを学習可能な多次元カラーリング行列に置き換えることで、cGANにおけるクラス固有情報の表現が向上するか？
• RQ3 提案されたカラーリングフィルタのソフトアサインメント機構は、クラス数の増加に伴いモデルの複雑さと性能にどのような影響を与えるか？
• RQ4 判別的タスクと比較して、WC変換はGANにおいてBNおよびDBNよりも顕著な利点を示すか？
• RQ5 提案手法は、無条件および条件付きGAN設定の両方において、CIFAR-10およびCIFAR-100といった標準ベンチマークで最先端の性能を達成できるか？

主な発見

• 提案手法のWCは、CIFAR-10で13.5のFrechet Inception Distance（FID）を達成し、本研究のベンチマークで全ての先行研究を上回った。
• CIFAR-100では、cWCはInceptionスコア9.52およびFID17.2を達成し、cBNおよびc-std-Cベースラインを著しく上回った。
• 対角行列を用いるcWC-diagバリアントは、CIFAR-100で完全なcWCに比べて性能が劣り、高クラス数設定において完全な相関除去と多次元カラーリングが不可欠であることを示した。
• ソフトアサインメントバリアント$cWC_{sa}$は、クラス数の増加に伴うパラメータ増加を抑制し、Tiny ImageNetにおいて標準cWCよりも優れた性能を達成した。
• 判別的分類タスクでは、WCはDBN（ZCAベースのホワイトニング＋スケーリング）と同等の性能を示したが、GANでは性能差が顕著に大きかった。これは、敵対的学習において全ホワイトニングがより重要であることを示唆している。
• アブレーションスタディの結果、全ホワイトニングに続くカラーリングが不可欠であることが確認された。パラメータ数が同一であっても、c-std-CおよびcWCの標準化のみのバリアントは、完全なWCの性能に達しないことが分かった。