[論文レビュー] With Malice Towards None: Assessing Uncertainty via Equalized Coverage

Yaniv Romano, Rina Foygel Barber+2 more|arXiv (Cornell University)|Aug 15, 2019

Explainable Artificial Intelligence (XAI)参考文献 36被引用数 6

ひとこと要約

本稿では、被保護群（人種、性別、民族など）の間で不偏かつ均等な被覆を保証する、分布に依存しない予測区間の構築手法「等価被覆」を提案する。任意の回帰アルゴリズムをラッピングするアプローチを用いることで、有限標本における有効性を保証し、実世界のデータにおいても、競合手法に比べてより公平な不確実性推定を維持する。

ABSTRACT

An important factor to guarantee a fair use of data-driven recommendation systems is that we should be able to communicate their uncertainty to decision makers. This can be accomplished by constructing prediction intervals, which provide an intuitive measure of the limits of predictive performance. To support equitable treatment, we force the construction of such intervals to be unbiased in the sense that their coverage must be equal across all protected groups of interest. We present an operational methodology that achieves this goal by offering rigorous distribution-free coverage guarantees holding in finite samples. Our methodology, equalized coverage, is flexible as it can be viewed as a wrapper around any predictive algorithm. We test the applicability of the proposed framework on real data, demonstrating that equalized coverage constructs unbiased prediction intervals, unlike competitive methods.

研究の動機と目的

• データ駆動型推薦システムにおけるアルゴリズムバイアスに対処し、被保護群間での不確実性の定量的評価を公平に保証すること。
• 感受性属性に対して偏りのない、有限標本に有効な予測区間を構築する実用的で、有限標本に有効な手法を開発すること。
• 犯罪・司法、医療、教育などハイリスク分野における公平な意思決定を可能にするために、不確実性推定をグループに依存させないこと。
• 不正なAIの実装を支援し、人種的・文化的背景に差があるグループ間での予測性能の乖離を厳密に評価し、是正すること。
• 既存の予測モデルに再訓練を要せず、任意のモデルに適用可能なラッピングとしてのフレームワークを提供すること。

提案手法

• 本手法は、グループ別被覆制御を目的とした、適合型推論フレームワークを応用したものである。
• 被保護群間で被覆確率が均等になるように予測区間を調整する再重み付け方式を導入している。
• 本手法は分布に依存せず、最小限の仮定のもとで有限標本における有効性保証を提供する。
• 被保護属性をキャリブレーション段階で使用し、グループ間の被覆乖離を特定・是正する。
• アルゴリズムはラッピングとして動作する：任意の予測モデルの出力を入力とし、等価被覆を強制するように予測区間を修正する。
• グループ固有の予測誤差を考慮しつつも、全体の被覆率を維持するための分位数ベースのキャリブレーション手順を採用している。

実験結果

リサーチクエスチョン

• RQ1 特定のデータ分布を仮定せずに、被保護群間で均等な被覆を維持する予測区間を構築できるか？
• RQ2 特定の文化的背景を持つグループに対して、不確実性推定が系統的により信頼性が高いか、低いかになるのを防げるか？
• RQ3 標準的手法に比べて、ラッピングベースのアプローチが不確実性の定量的評価における公平性をどの程度向上できるか？
• RQ4 キャリブレーションプロセスで被保護属性を使用することで、被覆の公平性を達成する影響は何か？
• RQ5 人種、性別、民族などの感受性属性を含む実世界の応用において、等価被覆はどの程度の性能を示すか？

主な発見

• 提案手法である等価被覆は、すべての被保護群に対して有限標本かつ分布に依存しない被覆保証を達成する。
• 実世界のデータにおいて、等価被覆は、しばしば被覆の乖離を示す競合手法に比べ、はるかに公平な予測区間を構築する。
• 内部モデルにバイアスがあっても、被覆率がグループ間でバランスされる一方で、高い予測精度を維持する。
• キャリブレーション段階で被保護属性を活用することで、再訓練を要せず、被覆の不均衡を正確に検出・是正できる。
• 本フレームワークは柔軟性に富み、犯罪・司法、医療、教育など多様な分野に広く適用可能である。
• 標準的な適合型推論や他の公平性を考慮した手法に比べ、本手法は文化的背景に差があるサブグループ間で均等な被覆を維持する点で優れている。