[論文レビュー] Re-weighting Based Group Fairness Regularization via Classwise Robust Optimization

Sangwon Jung, Tae‐Eon Park+2 more|arXiv (Cornell University)|Mar 1, 2023

Work-Family Balance Challenges被引用数 5

ひとこと要約

本稿では、DCA（条件付き正答率の差）指標を用いたクラス別分布ロバスト最適化（DRO）としてのグループ公平性の定式化により、再重み付けと正則化に基づくグループ公平性を統合する新規のインプロセッシング手法FairDROを提案する。この手法は反復的最適化プロセスを通じて最適なグループ再重みを自動で学習し、多様なテーブルデータ、画像、NLPベンチマークにおいて、強力なベースラインを上回る一貫した改善を示し、最先端の精度-公平性トレードオフを達成する。

ABSTRACT

Many existing group fairness-aware training methods aim to achieve the group fairness by either re-weighting underrepresented groups based on certain rules or using weakly approximated surrogates for the fairness metrics in the objective as regularization terms. Although each of the learning schemes has its own strength in terms of applicability or performance, respectively, it is difficult for any method in the either category to be considered as a gold standard since their successful performances are typically limited to specific cases. To that end, we propose a principled method, dubbed as \ours, which unifies the two learning schemes by incorporating a well-justified group fairness metric into the training objective using a class wise distributionally robust optimization (DRO) framework. We then develop an iterative optimization algorithm that minimizes the resulting objective by automatically producing the correct re-weights for each group. Our experiments show that FairDRO is scalable and easily adaptable to diverse applications, and consistently achieves the state-of-the-art performance on several benchmark datasets in terms of the accuracy-fairness trade-off, compared to recent strong baselines.

研究の動機と目的

• 既存のグループ公平性手法が理論的に弱いか、適用範囲が狭いという限界を是正すること。
• 再重み付けと正則化に基づく公平性アプローチを、原理的かつスケーラブルなフレームワークに統合すること。
• DCAというwell-justifiedな公平性指標を訓練目的に組み込むことで、精度-公平性トレードオフを改善すること。
• 理論的に根拠のある方法で、最適な（負の値を含む）グループ再重みを反復的最適化プロセスで自動で学習するアルゴリズムを開発すること。
• 多様なデータセットおよびモデルタイプにおいてスケーラビリティと一貫した性能向上を示すこと。

提案手法

• DCA（条件付き正答率の差）を用いてグループ公平性を定式化し、これはクラスごとの0-1損失分散の平方根の平均に等価であることが示されている。
• 準確率上でのχ²ダイバージェンスボールを用いたクラス別分布ロバスト最適化（DRO）を適用し、DCA正則化付きのERMを扱いやすいミニマックス最適化問題に変換する。
• DRO定式化の内側最大化問題の解を各グループのサンプル再重みとして用い、再重み付けと正則化の間の統一的つながりを構築する。
• Bregman射影に基づく反復的アルゴリズム（IBR）を滑らかさを導入して開発し、再重み更新の安定化と収束の保証を図る。
• 再重み更新の際の振動を防ぐために、滑らか化されたIBR更新を導入し、訓練の安定性を向上させる。
• 不均衡なデータセットにおける公平な評価のため、標準的な正答率の代わりにグループ-クラスバランス正答率を採用する。

実験結果

リサーチクエスチョン

• RQ1 統合的フレームワークは、再重み付けと正則化に基づく公平性手法の長所を効果的に統合できるか？
• RQ2 クラス別DROを用いた公平性の定式化は、既存の手法よりも優れた精度-公平性トレードオフを達成できるか？
• RQ3 反復的最適化プロセスは、理論的に根拠のある方法で、最適な（場合によっては負の値を含む）グループ再重みを自動で学習できるか？
• RQ4 FairDROは、テーブルデータ、画像、NLPデータセットを含む多様なデータモダリティにおいて、どのように性能を発揮するか？
• RQ5 IBRにおける滑らか化技術は、再重み付けプロセスの安定性と性能を顕著に向上させるか？

主な発見

• FairDROは、すべてのベンチマークデータセットにおいて精度-公平性トレードオフの面で最先端の性能を達成し、最近の強力なベースラインを上回っている。
• Adultデータセットでは、DCAをスクラッチ時の6.83から1.99に低減させつつ、高い正答率（79.23%）を維持した。
• COMPASデータセットでは、DCAをスクラッチ時の14.51から5.20に低減させ、バランス正答率61.97%を達成した。
• 滑らか化されたIBR更新により、グループ重みの動的挙動が安定化し、振動が防止され、アブレーションスタディで公平性性能の向上が確認された。
• FairDROは、AdultやCelebAのような極めて不均衡なデータセットにおいても、精度を犠牲にすることなく公平性を向上させ続けた。
• 本手法はスケーラブルであり、テーブル、画像、自然言語処理タスクを含む多様な応用に適応可能である。