[論文レビュー] Quantifying Program Bias

Aws Albarghouthi, Loris D’Antoni+2 more|arXiv (Cornell University)|Feb 17, 2017

Adversarial Robustness in Machine Learning参考文献 44被引用数 10

ひとこと要約

本論文は、意思決定プログラムにおける定量的公平性特性を検証するための音声的かつ完全な確率的プログラム解析手法を導入する。バイアス検証をSMTソルバを用いた実数論理式上の重み付き体積計算に還元することにより、著者らはFairSquare—自動的に条件付き確率を計算し、グループの公平性を定量的に評価するツール—を提案する。この手法は極限において正確に収束し、実世界の機械学習分類器において、最先端の手法を上回る性能を発揮する。

ABSTRACT

With the range and sensitivity of algorithmic decisions expanding at a break-neck speed, it is imperative that we aggressively investigate whether programs are biased. We propose a novel probabilistic program analysis technique and apply it to quantifying bias in decision-making programs. Specifically, we (i) present a sound and complete automated verification technique for proving quantitative properties of probabilistic programs; (ii) show that certain notions of bias, recently proposed in the fairness literature, can be phrased as quantitative correctness properties; and (iii) present FairSquare, the first verification tool for quantifying program bias, and evaluate it on a range of decision-making programs.

研究の動機と目的

• 確率的意思決定プログラムにおける定量的公平性特性を形式的かつ自動的に検証する技術を開発すること。
• プログラムバイアスを、保護対象群と非保護対象群における結果の条件付き確率として、確率的正しさの性質としてモデル化すること。
• 実数閉領域上の重み付き体積計算に問題を還元することにより、公平性の正確で音声的かつ完全な検証を可能にすること。
• 実世界の機械学習分類器のバイアスを、現実的な人口分布のもとで分析可能な、FairSquareと呼ばれるツールの実装と評価を実施すること。

提案手法

• 確率的公平性特性の検証を、実数算術上の論理式の重み付き体積の計算に還元する。これは、プログラムの符号化と入力分布を表す。
• SMTソルバをブラックボックスとして用い、プログラム制約で定義される領域における確率密度関数の統合を可能にする、新規の記号的体積計算アルゴリズムを採用する。
• 近似分布に従う適応的インポートランスサンプリングを用いて、高体積のハイパーレクタングルを優先的に処理することで、収束速度と精度を向上させる。
• 線形および多項式不等式を含む、任意の確率分布と実数閉領域上の論理式を扱える。これは、従来の有界または離散ドメインに限定された先行研究を凌駕する。
• 理論的収束保証を提供し、計算された体積が極限において正確な値に収束することを保証する。
• SMTソルバとの統合に加え、論理的符号化の複雑さに対処するための式の分解と量化子除去技術を活用する。

実験結果

リサーチクエスチョン

• RQ1 音声的かつ完全な保証を伴う自動技術を用いて、確率的プログラムにおける定量的公平性特性を形式的に検証できるか？
• RQ2 現実の人口分布を反映する形で、保護対象群と非保護対象群におけるプログラム出力の条件付き確率をどのようにモデル化・計算できるか？
• RQ3 プログラム論理と確率密度関数によって定義される複雑な連続領域における重み付き体積を、正確かつスケーラブルに計算するためのアルゴリズム的技術は何か？
• RQ4 本手法は、確率的プログラム解析における既存のサンプリングベースやモデルカウンティングアプローチと比較して、正確性と性能で優れているか？
• RQ5 本手法は、実世界の機械学習分類器に適用可能であり、実データに基づく学習済みモデルのバイアスを検出し、定量的に評価できるか？

主な発見

• 提案された記号的体積計算アルゴリズムは、極限において正確な体積に収束し、確率的公平性特性の音声的かつ完全な検証を実現する。
• FairSquareは、実世界の機械学習モデルから導出された意思決定プログラムにおけるバイアスを成功裏に定量化し、実用的応用性を示した。
• ベンチマーク分類器において、精度とスケーラビリティの両面で、最先端の確率的プログラム解析ツールを上回った。
• 近似分布に従う適応的インポートランスサンプリングの使用は、一様サンプリングと比較して収束速度と精度を顕著に向上させた。
• 任意の確率分布と実数閉領域上の複雑な論理式を扱えるため、従来の有界または離散ドメインに限定された研究を凌駕した。
• SMTソルバをブラックボックスとして統合することで、連続的かつ非線形な制約に対する効果的な推論が可能となり、単純な線形モデルを超える一般的な公平性検証を実現した。