[論文レビュー] MCL-GAN: Generative Adversarial Networks with Multiple Specialized Discriminators

Jin‐Young Choi, Bohyung Han|arXiv (Cornell University)|Jul 15, 2021

Generative Adversarial Networks and Image Synthesis参考文献 42被引用数 8

ひとこと要約

MCL-GANは、複数の専門的識別器を複数選択学習（MCL）で訓練することで、モード崩壊を軽減する生成対抗ネットワークを提案する。教師なしで各識別器を異なるデータクラスタに割り当てることで、生成器は協働的なフィードバックを通じて多様で高精度なサンプルを学習し、最小限の計算コストで最先端の性能を達成する。

ABSTRACT

We propose a framework of generative adversarial networks with multiple discriminators, which collaborate to represent a real dataset more effectively. Our approach facilitates learning a generator consistent with the underlying data distribution based on real images and thus mitigates the chronic mode collapse problem. From the inspiration of multiple choice learning, we guide each discriminator to have expertise in a subset of the entire data and allow the generator to find reasonable correspondences between the latent and real data spaces automatically without extra supervision for training examples. Despite the use of multiple discriminators, the backbone networks are shared across the discriminators and the increase in training cost is marginal. We demonstrate the effectiveness of our algorithm using multiple evaluation metrics in the standard datasets for diverse tasks.

研究の動機と目的

• GANにおける持続的なモード崩壊問題に対処すること、すなわち生成器がすべてのデータモードをカバーできないこと。
• 分類ラベルや追加の教師信号を用いずに、識別器が自動的に異なるデータクラスタに特化できること。
• 複数の専門的識別器からのフィードバックを集約することで、生成器の多様性と忠実度を向上させること。
• 識別器間でバックボーンネットワークを共有することで、計算効率を維持すること。
• 非条件および条件付き画像生成を含む多様なGANアーキテクチャとタスクに一般化可能であることを示すこと、すなわち、非条件および条件付き画像生成の両方において。

提案手法

• 本手法は、複数の識別器を訓練するための複数選択学習（MCL）を採用し、各識別器はトレーニングプロセスで特定された実データクラスタのサブセットに特化する。
• 各識別器は、最も近い実サンプルと生成サンプルに基づいて更新され、真のラベルがなくても動的かつ専門的（エキスパート）な割り当てが形成される。
• 生成されたサンプルのクラスタに特化した識別器からのフィードバックが生成器に集約され、モードカバレッジが促進される。
• 最適なアクティブな識別器数を特定するよう促すスパarsity損失が適用され、モデルのロバスト性が向上する。
• バックボーンネットワークが識別器間で共有されており、複数の識別器があるにもかかわらず追加の訓練コストが最小限に抑えられる。
• 標準的なGANの目的関数と統合可能であり、さまざまなGANバリアントやアーキテクチャと互換性がある。

実験結果

リサーチクエスチョン

• RQ1 MCLで訓練された複数の専門的識別器は、非条件GANにおけるモード崩壊を効果的に低減できるか？
• RQ2 MCL-GANは分類ラベルを使用せずに、ラベルベースの識別器特化と同等の性能を達成できるか？
• RQ3 MCLを条件付きGAN（例：画像対画像変換、テキスト対画像合成）に統合することで、多様性と忠実度にどのような影響を与えるか？
• RQ4 バランスの取れた識別器割り当てとスパarsity正則化の影響は、モデルの収束性とロバスト性にどのような影響を及えるか？
• RQ5 既存のマルチ識別器GANと比較して、MCL-GANの効率性とスケーラビリティはどの程度か？

主な発見

• MNISTおよびFashion-MNISTでは、m=5の条件下でそれぞれ98.3%および97.7%のリcallを達成し、DCGAN（89.1%および92.7%のリcall）を上回った。
• CUB-200-2011では、FIDが62.9±0.001、LPIPSが0.624±0.002に改善され、多様性と品質の向上が示された。
• StackGAN++を用いたテキスト対画像合成では、LPIPS（多様性）が顕著に向上したが、FIDとNDBスコアは高い水準を維持した。
• 表6に示すように、ラベルベースの識別器割り当てと同等の性能を達成し、MCLによる教師なし特化の信頼性を裏付けた。
• ハイパーパramータの変動に対してもロバストであり、特にエキスパート学習とバランスの取れた割り当てが適用された場合、mおよびkの値にかかわらず安定した性能を示した。
• 共有バックボーンの使用により、複数の識別器があるにもかかわらず訓練コストの増加が最小限に抑えられ、MCL-GANは計算的に効率的である。