[論文レビュー] Verifying Individual Fairness in Machine Learning Models

Philips George John, Deepak Vijaykeerthy+1 more|arXiv (Cornell University)|Jun 21, 2020

Adversarial Robustness in Machine LearningComputer Science参考文献 33被引用数 17

ひとこと要約

この論文は、柔軟で属性別に定義されたメトリックに従って類似する入力を同様の予測が得られるかをチェックすることにより、機械学習モデルにおける個別公平性を検証する最初のフレームワークを提案する。線形およびカーネル化された分類器（多項式/RBF）に対して、予測差の上限を求めるための半正定値計画法（SDP）の緩和を用いた、健全だが完全でない検証アルゴリズムを導入し、公開データセットを用いた実験的検証により、個別バイアスの有効な検出を示している。

ABSTRACT

We consider the problem of whether a given decision model, working with structured data, has individual fairness. Following the work of Dwork, a model is individually biased (or unfair) if there is a pair of valid inputs which are close to each other (according to an appropriate metric) but are treated differently by the model (different class label, or large difference in output), and it is unbiased (or fair) if no such pair exists. Our objective is to construct verifiers for proving individual fairness of a given model, and we do so by considering appropriate relaxations of the problem. We construct verifiers which are sound but not complete for linear classifiers, and kernelized polynomial/radial basis function classifiers. We also report the experimental results of evaluating our proposed algorithms on publicly available datasets.

研究の動機と目的

• 個別公平性の検証手法の欠如に取り組むこと。個別公平性は、グループレベルの公平性や局所的アドバーシャルロバストネスとは異なり、すべての入力に対してグローバルなロバストネスを要請する。
• 柔軟なメトリックに基づく近い入力が顕著に異なるモデル出力を与えるかどうかをチェックすることにより、個別バイアスを検出する形式的で健全な検証手法を開発すること。
• 従来、局所的ロバストネスやグループ公平性に限定されていた検証アプローチを、グローバルかつ個別公平性の文脈に拡張すること。
• 特に半正定値計画法を用いた数学的最適化を通じて、ホワイトボックスモデルにおける公平性を実用的なフレームワークで検証すること。
• 公開データセットを用いた実験的評価を通じて、実世界のモデルにおける個別レベルの不公平性を同定できるかどうかを検証すること。

提案手法

• 論文は、入力属性をサブセットに分割し、各サブセットに許容可能な摂動の閾値を設定する柔軟なメトリックを定義することで、個別公平性を定式化する。これにより、各属性ごとの差がその閾値内にある場合、入力は「近い」とみなされる。
• 線形分類器の場合、検証問題は線形計画法に還元され、正確ではあるが、時間計算量が指数的になり得る。カーネル化されたモデルでは、多項式最適化の技術を用いて半正定値計画法（SDP）に緩和される。
• コアとなる手法は、近い入力同士の予測差の最大値に対する下界を計算するために半正定値計画法の緩和を用いることで、公平性の健全な検証を可能にする。
• RBFカーネルモデルの場合、感受性属性空間における可能な入力摂動のペアを反復的に探索し、制約付き最適化を解いて最小の予測差を同定する。
• 多項式最適化問題を半代数的集合上で下界付けるために、PutinarのPositivstellensatzとSOS階層を活用し、健全性を保証する。
• フレームワークは、近い入力同士の最大出力差の下界を出力し、その差が公平性の閾値を超える場合には反例も出力する。

実験結果

リサーチクエスチョン

• RQ1 すべての入力ペairに対してグローバルなロバストネスをチェックすることにより、機械学習モデルにおける個別公平性を形式的に検証できるか？
• RQ2 元々局所的アドバーシャルロバストネスやグループ公平性を想定して設計された既存の検証手法を、グローバルかつ個別公平性の文脈にどのように適応できるか？
• RQ3 非線形モデル、特にカーネル化された分類器において、個別公平性を健全に検証するために使用できる数学的緩和技術は何か？
• RQ4 半正定値計画法と多項式の和（SOS）緩和を用いて、入力摂動下での予測差をどの程度正確に束縛できるか？
• RQ5 提案されたフレームワークは、実世界のデータセットにおいて個別レベルのバイアスをどの程度効果的に検出できるか？

主な発見

• 提案された検証フレームワークは、線形およびカーネル化された分類器に対して健全だが完全でない。線形モデルでは指数的時間で正確な検証が可能である。
• カーネル化されたモデルでは、多項式の和（SOS）表現に基づく半正定値計画法の緩和を用いて、近い入力同士の最大出力差の下界を計算する。
• フレームワークは、小さな入力摂動に対しても顕著に異なる出力を示す入力ペアを同定することで、RBFカーネルモデルにおける個別バイアスを効果的に検出する。
• 公開データセットを用いた実験的評価により、同定された不正な予測の能力が確認され、出力の下界が最悪ケースの公平性違反を反映している。
• この手法は、グループ公平性と反事後公平性の両方を統一的で柔軟なメトリックに基づくフレームワークに包含するなど、従来の公平性定義を一般化する。
• PutinarのPositivstellensatzの使用により、複雑な入力制約がある場合でも、半代数的集合上で制約付き最適化が可能になり、公平性検証が可能になる。