[論文レビュー] Towards Accuracy-Fairness Paradox: Adversarial Example-based Data Augmentation for Visual Debiasing

Yi Zhang, Jitao Sang|arXiv (Cornell University)|Jul 27, 2020

Adversarial Robustness in Machine Learning参考文献 29被引用数 12

ひとこと要約

本稿では、視覚的デバイアス化において、性的特徴（例：性別）などの感受性属性にわたるデータ分布をバランスさせるために、敵対的例を用いて補助的なトレーニングサンプルを生成する、新たな手法であるAdversarial Example-based Data Augmentation（AEDA）を提案する。ターゲットタスク分類、バイアス予測、敵対的例生成をオンラインで共同最適化することで、AEDAはモデルの精度と公平性を同時に向上させ、ベースライン手法よりも低いバイアスと高い精度を達成する。

ABSTRACT

Machine learning fairness concerns about the biases towards certain protected or sensitive group of people when addressing the target tasks. This paper studies the debiasing problem in the context of image classification tasks. Our data analysis on facial attribute recognition demonstrates (1) the attribution of model bias from imbalanced training data distribution and (2) the potential of adversarial examples in balancing data distribution. We are thus motivated to employ adversarial example to augment the training data for visual debiasing. Specifically, to ensure the adversarial generalization as well as cross-task transferability, we propose to couple the operations of target task classifier training, bias task classifier training, and adversarial example generation. The generated adversarial examples supplement the target task training dataset via balancing the distribution over bias variables in an online fashion. Results on simulated and real-world debiasing experiments demonstrate the effectiveness of the proposed solution in simultaneously improving model accuracy and fairness. Preliminary experiment on few-shot learning further shows the potential of adversarial attack-based pseudo sample generation as alternative solution to make up for the training data lackage.

研究の動機と目的

• モデルバイアスの原因としてのデータ不均衡に着目し、視覚的デバイアス化における公平性と精度の間の本質的トレードオフを解消すること。
• 敵対的例が、デバイアス化のためのトレーニングデータ分布を再バランス化する有効で高品質な疑似サンプルとして機能できるかどうかを検討すること。
• ターゲット分類器、バイアス分類器、敵対的例生成をオンラインで結合的に最適化する共同学習フレームワークを構築すること。
• データ分布のバランスが、公平性と精度の両方の背後要因であることを検証し、同時に向上を可能にする要因であることを示すこと。
• 特に低データ環境において、敵対的攻撃に基づく疑似サンプル生成の可能性を、デバイアス化を超えて調査すること。

提案手法

• AEDAは、ターゲットタスク分類、バイアスタスク分類、敵対的例生成の3つのコンponentを共同で最適化するオンラインでエンドツーエンドのトレーニングパイプラインを採用する。
• 敵対的例は、入力画像を摂動させることで生成され、予測されるバイアス変数（例：性別）を変更するが、ターゲット属性（例：「くびれのあるまゆ」）のラベルは維持される。
• 生成された敵対的例は、オンラインで動的にトレーニングセットに追加され、バイアス変数の分布がバランスされる。
• トレーニング中にバイアス分類器と敵対的生成器を継続的に更新することで、フレームワークはタスク間の転送性を維持し、時間経過による性能低下を防ぐ。
• 勾配に基づく敵対的攻撃（例：PGD）と、すべてのコンponentにわたる共同バックプロパゲーションを用いた、結合的最適化プロセスとして実装される。
• 元のデータを破棄せずに、公平で代表的な疑似サンプルを生成することで、事前処理（データバランス）とインプロセッシング（敵対的トレーニング）の利点を融合する。

実験結果

リサーチクエスチョン

• RQ1 敵対的例は、視覚的デバイアス化タスクにおける不均衡なトレーニングデータ分布を効果的に再バランス化するために使用できるか？
• RQ2 ターゲット分類、バイアス分類、敵対的例生成をオンラインで結合的にトレーニングすることで、公平性と精度の両方が向上するか？
• RQ3 公平性と精度の両方を結びつける共通の背後要因として、データ分布のバランスが存在するか？
• RQ4 敵対的攻撃に基づく疑似サンプル生成は、少データ学習のシナリオにおいてデータ不足を効果的に緩和できるか？
• RQ5 バイアス分類器のタスク間転送性は、デバイアス化プロセスにおける長期的な公平性と精度にどのように影響するか？

主な発見

• AEDAは、実世界の顔貌属性認識データセットでモデルバイアスを3.1に低減した。これは、オンライン敵対的アップデートを行わないベースライン手法の5.3のバイアスレベルよりも顕著に低い。
• 提案されたAEDA_robust法は、低バイアスと高いタスク間転送性を維持するが、オンライン更新のないAEDA_preバージョンは40エポック目以降でバイアスが急激に上昇する。
• シミュレーションおよび実世界の実験において、AEDAは一貫して公平性と精度の両方を向上させ、データ分布のバランスが同時に向上を可能にする重要な要因であることを示した。
• C-MNISTを用いた少データ学習において、AEDAが生成した疑似サンプルにより、低リソースクラスの平均精度が元のモデルと比較して27%向上した。
• 結果から、敵対的例は人間が認識できない有用な特徴を抽出でき、モデルの一般化性能と公平性を向上させられることを示した。
• 本研究は、データ不均衡がモデルバイアスの主な要因であることを確認し、敵対的増強によるバランス化が、精度を犠牲にすることなくバイアスを効果的に緩和できることを示した。