[論文レビュー] RepFair-GAN: Mitigating Representation Bias in GANs Using Gradient Clipping

Patrik Joslin Kenfack, Kamil Sabbagh+2 more|arXiv (Cornell University)|Jul 13, 2022

Adversarial Robustness in Machine Learning被引用数 4

ひとこと要約

本稿では、識別器の訓練中にグループごとの勾配ノルムクリッピングを適用することにより、GANにおける表現バイアスを軽減する手法RepFair-GANを提案する。各感受性属性グループごとの勾配の大きさを制御することで、テスト時に生成器はすべてのグループから均一にサンプリングするよう学習し、サンプル品質を損なわずに公平なデータ生成を達成する。MNISTおよびSVHNにおいて、グループの分布がバランスされている場合と不均衡な場合の両方で検証された。

ABSTRACT

Fairness has become an essential problem in many domains of Machine Learning (ML), such as classification, natural language processing, and Generative Adversarial Networks (GANs). In this research effort, we study the unfairness of GANs. We formally define a new fairness notion for generative models in terms of the distribution of generated samples sharing the same protected attributes (gender, race, etc.). The defined fairness notion (representational fairness) requires the distribution of the sensitive attributes at the test time to be uniform, and, in particular for GAN model, we show that this fairness notion is violated even when the dataset contains equally represented groups, i.e., the generator favors generating one group of samples over the others at the test time. In this work, we shed light on the source of this representation bias in GANs along with a straightforward method to overcome this problem. We first show on two widely used datasets (MNIST, SVHN) that when the norm of the gradient of one group is more important than the other during the discriminator's training, the generator favours sampling data from one group more than the other at test time. We then show that controlling the groups' gradient norm by performing group-wise gradient norm clipping in the discriminator during the training leads to a more fair data generation in terms of representational fairness compared to existing models while preserving the quality of generated samples.

研究の動機と目的

• 生成モデルにおける新たな公平性の概念である「表現の公平性」を形式化すること。これは、テスト時に保護される属性（例：性別、人種）が生成されたサンプルに均一に分布することを要請する。
• GANにおける表現バイアスの根本的原因を解明すること。特に、訓練データがバランスされている場合でも、なぜ生成器が特定のグループを好むのかを特定すること。
• 生成器を変更せず、追加データを必要とせず、シンプルで効果的かつ一般化可能なGANにおける公平な生成を実現する手法を開発すること。
• 異なるレベルのグループの不均衡さと複数のデータセット（MNIST、SVHN）において、手法の有効性を評価すること。
• 識別器の訓練中にグループごとの勾配ノルムを制御することで、推論時により均一で公平なサンプリングが達成されることを示すこと。

提案手法

• 本手法は、識別器の訓練中に各感受性属性グループごとの勾配ノルムを個別にクリッピングする。各グループの勾配ノルムが事前に定義された最大ノルムを超える場合に適用される。
• バッチ単位で処理され、保護される属性（MNISTでは数字のクラス、SVHNでは数字の種別）に基づいてバッチをグループに分割し、各グループの勾配ノルムを別々にクリッピングする。
• 標準的なGANの訓練目的を維持するが、識別器のバックプロパゲーションステップを変更し、グループ間でバランスの取れた勾配更新を保証する。
• 最大勾配ノルム（C）はバリデーションを用いてハイパーパrameterとして調整される。実験では、MNISTおよびSVHNでC=2のとき最適な性能を示した。
• 本手法は、生成器やデータ前処理を変更しないため、さまざまなGANバリアントと互換性があり、標準的なGAN訓練パイプラインへのわずかな修正で実装可能である。
• 本手法は軽量で効率的であり、標準的なGAN訓練パイプラインへの修正が最小限に抑えられる。

実験結果

リサーチクエスチョン

• RQ1 なぜ訓練データのグループ分布がバランスされている場合でも、GANはテスト時にバイアスのかかったサンプルを生成するのか？
• RQ2 感受性属性グループ間で勾配ノルムの差が生じると、それがテスト時の生成器のサンプリング行動にどのように影響を与えるのか？
• RQ3 識別器の訓練中にグループ固有の勾配ノルムを制御することで、グループ間でより均一で公平な生成が達成できるか？
• RQ4 訓練データにおけるグループの不均衡度が変化する条件下でも、本手法はどのように性能を示すか？
• RQ5 提案手法は、公平性を達成しつつも、生成されたサンプルの品質を維持できるか？

主な発見

• ヴァニラGANは、訓練データがバランスされている場合でも、識別器の訓練中に勾配ノルムの差が生じるため、テスト時に顕著な表現バイアスを示し、代表的なグループに偏る。
• 識別器の訓練中に、あるグループの勾配ノルムの大きさが他のグループに比べて著しく大きいと、生成器はテスト時にそのグループからのサンプリングを好むよう学習する。
• C=2でのグループごとの勾配ノルムクリッピングにより、MNISTおよびSVHNの両方で、訓練データが不均衡（例：20% vs 80%）であっても、生成されたサンプルにおけるグループの代表が均一になる。
• 最大勾配ノルムが2未満（例：0.1, 0.5, 1）の場合、勾配消失により学習が収束せず、ランダムで低品質なサンプルが生成される。
• 最大勾配ノルムが20を超えると、再び表現バイアスが顕在化し、クリッピングしきい値が大きすぎるため勾配の差を制御できていないことが示された。
• RepFair-GANは、サンプル品質をヴァニラGANと同等に保ちながら、顕著に公平性の高いグループ表現を達成しており、データセットをまたいで定性的および定量的な評価で確認された。