[論文レビュー] Leveling Down in Computer Vision: Pareto Inefficiencies in Fair Deep Classifiers

Dominik Zietlow, Michael Lohaus+5 more|arXiv (Cornell University)|Mar 9, 2022

Ethics and Social Impacts of AI被引用数 7

ひとこと要約

この論文は、コンピュータビジョン分野における公平性手法が、特にパフォーマンスが優れているグループを含め、すべてのグループの性能を低下させることを特定し、パレート非効率なモデルを生じさせることを示している。本研究では、g-SMOTEを用いた適応的データ拡張を提案し、全体のパフォーマンスを損なうことなく、最も不利な立場にあるグループの精度を向上させることに成功した。これは、パフォーマンスを均等化することで公平性を高めるのではなく、一般化性能の向上によって公平性を改善するソリューションを示している。

ABSTRACT

Algorithmic fairness is frequently motivated in terms of a trade-off in which overall performance is decreased so as to improve performance on disadvantaged groups where the algorithm would otherwise be less accurate. Contrary to this, we find that applying existing fairness approaches to computer vision improve fairness by degrading the performance of classifiers across all groups (with increased degradation on the best performing groups). Extending the bias-variance decomposition for classification to fairness, we theoretically explain why the majority of fairness classifiers designed for low capacity models should not be used in settings involving high-capacity models, a scenario common to computer vision. We corroborate this analysis with extensive experimental support that shows that many of the fairness heuristics used in computer vision also degrade performance on the most disadvantaged groups. Building on these insights, we propose an adaptive augmentation strategy that, uniquely, of all methods tested, improves performance for the disadvantaged groups.

研究の動機と目的

• コンピュータビジョン分野における公平性手法が、特に最も不利な立場にあるグループを含め、すべてのグループの性能を低下させる理由を調査すること。
• 高容量モデルにおいて一般的に見られる、公平性と精度のトレードオフという仮定に疑問を呈すること。
• パフォーマンスの均等化ではなく、一般化性能の向上によって公平性を高める手法を提案すること。
• データ拡張を用いて、最悪グループの精度を向上させつつ、公平性指標に悪影響を与えないことを実証すること。

提案手法

• 著者らはバイアス-バリアンス分解を公平性に拡張し、高容量設定において公平性手法が失敗する理論的条件を同定した。
• GANベースのアプローチ（g-SMOTE）を用いて、パフォーマンスが低いグループに特化した合成サンプルを生成する、適応的データ拡張を導入した。
• この手法により、最もパフォーマンスが低いグループのデータ多様性が動的に向上し、一般化性能が向上し、誤差率が低下した。
• 公平性の評価には、等確率差（DEO）と最悪グループ精度を用い、さまざまな拡張戦略を比較した。
• 標準的な拡張法（例：ランダムクロップ、RandAugment）と組み合わせることで、性能向上の直交的利点を評価した。
• 2段階の評価プロトコルを提案：まず最悪グループの誤差を評価し、次に最悪パフォーマンスを示すグループのデータを繰り返し収集することで、最悪ケース誤差を最小化する。

実験結果

リサーチクエスチョン

• RQ1 なぜコンピュータビジョン分野における公平性手法が、特に最も不利な立場にあるグループを含め、すべてのグループの性能を低下させるのか？
• RQ2 高容量ディープラーニングにおいて、公平性制約がいつパレート非効率なモデルを生じさせるのか？
• RQ3 データ拡張を用いることで、全体のパフォーマンスを損なわず、かつパフォーマンスが優れているグループの精度を悪化させずに公平性を向上させることができるか？
• RQ4 適応的生成によるデータ拡張は、標準的な拡張法と比較して、最悪グループ精度の向上にどの程度寄与するか？
• RQ5 高容量モデルにおける公平性を評価する際、性能低下を隠蔽しないように、どの指標を優先すべきか？

主な発見

• コンピュータビジョン分野における多くの公平性手法は、すべてのグループの精度を低下させ、最悪の立場にあるグループですら同様に影響を受けるため、パレート非効率である。
• CelebAデータセットでは、公平性正則化モデルがDEOなどの公平性指標を改善したにもかかわらず、すべてのグループの精度が低下しており、最悪パフォーマンスを示すグループに対しても同様に顕著だった。
• 提案されたg-SMOTE拡張により、複数の拡張ベースラインにおいて、最小グループ精度が最大0.48パーセンテージポイント向上（89.15%から89.63%）した。
• g-SMOTEは標準的な拡張法と組み合わせることで、0.18～0.58パーセンテージポイントの直交的利点を示した。
• この手法は、性能が優れているグループのパフォーマンスを低下させることなく、より良い公平性（DEOが低い）と高い最悪グループ精度を達成した。
• 本研究は、未学習データにおける公平性が本質的に一般化問題であることを確認し、ターゲットドリフトによるデータ収集が最悪グループパフォーマンスの向上に寄与することを示した。