[論文レビュー] Unbiased Subdata Selection for Fair Classification: A Unified Framework and Scalable Algorithms

Qing Ye, Weijun Xie|arXiv (Cornell University)|Dec 22, 2020

Ethics and Social Impacts of AI参考文献 44被引用数 5

ひとこと要約

本稿では、正確な公平性測定を不偏サブデータ選択を通じて統合することで、精度と公平性を同時に最適化する包括的なフレームワークを提案する。スケーラブルな反復的改善戦略（IRS）を導入し、分類とサブデータ選択を交互に繰り返すことで、最小限の精度損失で優れた公平性を達成し、ベンチマークデータセット（不均衡な医療画像データを含む）において既存手法を上回る性能を示した。

ABSTRACT

As an important problem in modern data analytics, classification has witnessed varieties of applications from different domains. Different from conventional classification approaches, fair classification concerns the issues of unintentional biases against the sensitive features (e.g., gender, race). Due to high nonconvexity of fairness measures, existing methods are often unable to model exact fairness, which can cause inferior fair classification outcomes. This paper fills the gap by developing a novel unified framework to jointly optimize accuracy and fairness. The proposed framework is versatile and can incorporate different fairness measures studied in literature precisely as well as can be applicable to many classifiers including deep classification models. Specifically, in this paper, we first prove Fisher consistency of the proposed framework. We then show that many classification models within this framework can be recast as mixed-integer convex programs, which can be solved effectively by off-the-shelf solvers when the instance sizes are moderate and can be used as benchmarks to compare the efficiency of approximation algorithms. We prove that in the proposed framework, when the classification outcomes are known, the resulting problem, termed "unbiased subdata selection," is strongly polynomial-solvable and can be used to enhance the classification fairness by selecting more representative data points. This motivates us to develop an iterative refining strategy (IRS) to solve the large-scale instances, where we improve the classification accuracy and conduct the unbiased subdata selection in an alternating fashion. We study the convergence property of IRS and derive its approximation bound. More broadly, this framework can be leveraged to improve classification models with unbalanced data by taking F1 score into consideration.

研究の動機と目的

• 非凸な公平性測定がしばしば劣悪な結果をもたらす分類における正確な公平性モデリングの課題に対処すること。
• OMR、デモグラフィックパリティ、偽陽性率、等しい機会といったさまざまな公平性測定を分類モデルに正確に統合する包括的フレームワークの開発。
• 伝統的およびディープラーニング分類器（CNNを含む）において、計算上の実行可能性を維持したまま正確な公平性表現を可能にすること。
• F₁スコアを最適化フレームワークに統合することで、不均衡データの状況における公平性の向上。
• 大規模インスタンスに適したスケーラブルな反復的改善戦略（IRS）の設計、収束性と近似保証の両立。

提案手法

• 中規模のインスタンスに対して、公平な分類を混合整数凸計画問題として定式化し、市販のソルバを用いた正確な最適化を可能にする。
• 提案フレームワークのフィッシャー整合性を証明し、公平性と精度の目的関数が漸近的に正しい結果をもたらすことを保証する。
• 分類結果が固定された場合、不偏サブデータ選択問題が強多項式時間で解けることが示され、効率的なデータサブセットの最適化が可能になる。
• 反復的改善戦略（IRS）は、分類精度の向上とより代表的で不偏なサブデータの選択を交互に繰り返し、公平性を向上させる。
• IRSは交互最小化に基づき、大規模問題において収束性が保証され、導出された近似バウンドを持つことが証明された。
• F₁スコアを公平性に配慮した目的関数として統合することで、不均衡データに対応するフレームワークの拡張がなされた。

実験結果

リサーチクエスチョン

• RQ1 正確な公平性測定を分類に正確にモデル化できる包括的フレームワークを開発できるか。これにより、既存手法で一般的な近似誤差を回避できるか。
• RQ2 精度を損なわず、公平性を向上させるために、不偏サブデータ選択を効率的に定式化・解法できるか。
• RQ3 提案フレームワークの計算スケーラビリティは大規模データセットに対しどの程度か。収束性は保証されるか。
• RQ4 実世界および不均衡データセットにおいて、反復的改善戦略（IRS）はベースライン手法に比べて、公平性と精度の両面でどの程度向上をもたらすか。
• RQ5 F₁スコアを公平性に配慮した目的関数として統合することで、不均衡データの状況における公平性を向上できるか。

主な発見

• CNN- $F_{1}$ モデルは、$3\times 3$ カーネルを用いたレースデータセットで、F₁スコアを 0.29 から 0.41（7.2% の向上）に、精度を 72.1% から 79.3% に改善した。
• X線アテレアシスデータセットでは、$5\times 5$ カーネルを用い、F₁スコアが 0.04 から 0.27 に上昇し、精度は 0.3% 向上した。これは希少クラスにおいても有効であることを示している。
• 性別データセットでは、$5\times 5$ カーネル設定下で、F₁スコアが 0.31 から 0.47 に、精度が 79.1% から 84.7% に向上した。
• CNN- $F_{1}$ のF₁スコアと精度は、すべてのシナリオでVCNNを上回ったが、$3\times 3$ カーネルでのアテレアシスデータセットを除いて、広範な優位性を示した。
• IRSの導入により、CNN- $F_{1}$ のトレーニング時間はVCNNより長くなったが、公平性と精度の両面で、すべてのデータセットで顕著かつ一貫した向上が得られた。
• 評価されたすべてのデータセットにおいて、既存手法よりも優れた公平性の結果を達成し、特にマイノリティクラスのF₁スコアにおいて顕著な改善が見られた。