[論文レビュー] Balanced Training for Sparse GANs

Yite Wang, Jing Wu+2 more|arXiv (Cornell University)|Feb 28, 2023

Generative Adversarial Networks and Image Synthesis被引用数 6

ひとこと要約

本論文では、生成モデルと識別モデルのバランスを監視・制御するためのバランス比（BR）を導入した、GAN向けのバランスの取れた動的スパース訓練手法ADAPTを提案する。BRに基づいてリアルタイムで識別モデルのスパースリティを動的に調整することにより、ADAPTは、例えればBigGAN-CIFAR10でFIDスコア10.33を達成し、スパースベースライン比34.42％のトレーニングFLOPsにまで削減することで、効率的で安定したスパースGAN訓練を実現する。

ABSTRACT

Over the past few years, there has been growing interest in developing larger and deeper neural networks, including deep generative models like generative adversarial networks (GANs). However, GANs typically come with high computational complexity, leading researchers to explore methods for reducing the training and inference costs. One such approach gaining popularity in supervised learning is dynamic sparse training (DST), which maintains good performance while enjoying excellent training efficiency. Despite its potential benefits, applying DST to GANs presents challenges due to the adversarial nature of the training process. In this paper, we propose a novel metric called the balance ratio (BR) to study the balance between the sparse generator and discriminator. We also introduce a new method called balanced dynamic sparse training (ADAPT), which seeks to control the BR during GAN training to achieve a good trade-off between performance and computational cost. Our proposed method shows promising results on multiple datasets, demonstrating its effectiveness.

研究の動機と目的

• GANの動的スパース訓練における不安定さとアンバランスの問題に対処すること。特に、トレーニング中に生成モデルと識別モデルがアンバランスになる状況を想定する。
• スパース生成モデルと識別モデルのバランスを定量的に測定する指標を開発することにより、リアルタイムでの監視と制御を可能にする。
• トレーニング中に識別モデルのスパースリティを動的に調整することで、最適なバランスを維持し、トレーニング効率と性能を向上させる手法を提案すること。
• スパースGAN訓練におけるFIDスコアと計算コストの間で、良好なトレードオフを達成すること。

提案手法

• スパースGANにおける生成モデルと識別モデルの相対的強度を定量化する新しい指標として、バランス比（BR）を導入する。
• BRをリアルタイムの指標として用い、トレーニングのアンバランス、特にモード崩壊や過学習の状況を検出・是正する。
• BRフィードバックに基づいて識別モデルのスパースリティと接続構造をトレーニング中に動的に調整するADAPT（バランスの取れた動的スパース訓練）を提案する。
• BRの計算を定期的に行い、計算オーバーヘッドが最小限に抑えられると仮定する（計算はまれに行われる）。
• CIFAR-10およびTinyImageNet上で、SNGANおよびBigGANアーキテクチャにADAPTを適用し、生成モデルと識別モデルのスパースリティを制御可能にする。
• アブレーションスタディおよびベースライン手法（例：Static-Balance, SDST, RigL）との比較を通じて、BRおよびADAPTの有効性を検証する。

実験結果

リサーチクエスチョン

• RQ1 GANトレーニング中にスパース生成モデルとスパース識別モデルのバランスをどのように定量的に測定できるか？
• RQ2 スパースGANにおけるトレーニングの失敗や崩壊の原因は何か？また、バランス比はそのような失敗モードを特定するのを助けるか？
• RQ3 バランス比を用いた識別モデルのスパースリティのリアルタイム監視と調整により、スパースGANのトレーニングは安定化するか？
• RQ4 ADAPTは、既存のスパース訓練手法と比較して、性能と計算コストのトレードオフをより良く達成できるか？

主な発見

• ADAPTはBigGAN-CIFAR10で10.33の最先端FIDスコア、SNGAN-CIFAR10で14.80のFIDスコアを達成し、すべてのベースラインを上回る。
• BigGAN-CIFAR10データセットでは、ADAPT（厳密）がスパースベースライン比34.42％のFLOPsでFID10.33を達成し、計算コストを顕著に削減した。
• SNGAN-CIFAR10では、生成モデル密度10％の条件下で、ADAPTがトレーニングFLOPsをスパースベースライン比24.23％にまで削減しながら、競争力のあるFIDスコアを維持した。
• バランス比（BR）は、識別モデルが強すぎる場合に顕著に現れるトレーニングの不安定性（例：モード崩壊、過学習）を特定するのに有効である。
• ADAPTは、複数のデータセットおよびスパースリティレベルにおいて、静的プルーニングベースライン（例：Static-Balance, Static-Strong）および動的手法（例：SDST, RigL）を常に上回る性能を示した。
• ADAPTは、異なる生成モデルおよび識別モデルのスパースリティ設定に対してもロバストであることが示され、BigGAN-CIFAR10で生成モデル密度30％の条件下でADAPT（厳密）がFID14.92を達成した。