[論文レビュー] Iterative Orthogonal Feature Projection for Diagnosing Bias in Black-Box Models

Julius Adebayo, Lalana Kagal|arXiv (Cornell University)|Nov 15, 2016

Imbalanced Data Classification Techniques参考文献 10被引用数 46

ひとこと要約

この論文では、ブラックボックスモデルのバイアスを診断するための反復的直交特徴投影（IOFP）を提案する。この手法は、直交投影とパフォーマンス変化検出を用いて、各入力特徴の予測的依存度を測定する。モデルの内部構造を必要とせず、解釈可能性と公平性監査を可能にし、実世界のクレジット限度額モデルにおいて性別依存度が低いことが示された。

ABSTRACT

Predictive models are increasingly deployed for the purpose of determining access to services such as credit, insurance, and employment. Despite potential gains in productivity and efficiency, several potential problems have yet to be addressed, particularly the potential for unintentional discrimination. We present an iterative procedure, based on orthogonal projection of input attributes, for enabling interpretability of black-box predictive models. Through our iterative procedure, one can quantify the relative dependence of a black-box model on its input attributes.The relative significance of the inputs to a predictive model can then be used to assess the fairness (or discriminatory extent) of such a model.

研究の動機と目的

• クレジット、保険、雇用などの高リスク意思決定で使用されるブラックボックス予測モデルの解釈可能性を可能にすること。
• 入力特徴の相対的依存度を定量化することで、公平性監査のための手法を開発すること。
• 性別、人種、宗教などの保護属性に依存することで生じる意図しない差別を特定すること。
• 内部構造のアクセスを必要とせず、スケーラブルでクエリベースのフレームワークを提供し、解釈不能なモデルに対しても適用可能にすること。
• 規制当局や実務家が、どの特徴がモデルの出力を決定しているかを特定し、標的的な公平性対策を講じることを支援すること。

提案手法

• この手法は、入力特徴を、関心のあるターゲット属性と無相関になるように反復的直交投影で変換する。
• 各特徴について、非線形変換（例：対数、多項式、指数関数）を入力行列に追加して非線形依存度を捉える。
• ブラックボックスモデルのパフォーマンスを変換前後で測定し、パフォーマンスの絶対差（例：MSE や正答率）を特徴の予測的依存度として定量化する。
• パフォーマンスの変化を各入力特徴の順位スコアとして用い、モデル出力に対する相対的重要性を示す。
• ブラックボックスの反復的クエリを前提とするが、利用不可の場合はブラックボックスの挙動を近似するスレーブモデルを訓練する。
• 全特徴に対して反復的にアルゴリズムを適用し、入力依存度の完全な順位付けを生成する。

実験結果

リサーチクエスチョン

• RQ1 内部構造へのアクセスなしに、ブラックボックスモデルが個々の入力特徴にどの程度依存しているかをどのように測定できるか？
• RQ2 予測モデルが意思決定を行う際に、性別や人種といった保護属性にどの程度依存しているか？
• RQ3 直交投影とパフォーマンス変化検出は、モデルの予測に最も寄与する特徴を効果的に特定できるか？
• RQ4 実世界の高リスクモデル、例えばクレジットスコアリングシステムにおいて、この手法はバイアスを検出できるか？
• RQ5 従来の解釈可能手法がモデルの複雑さのため機能しない場合でも、このアプローチは公平性監査に使用できるか？

主な発見

• 反復的直交投影手法は、ブラックボックスモデルの各入力特徴に対する予測的依存度を効果的に定量化でき、モデルへのアクセスなしに解釈可能性を実現した。
• ヨーロッパの銀行が提供する実世界のクレジット限度額モデルにおいて、性別への依存度が一貫して低く、差別的影響が最小限であることが示された。
• 正規化された順位付けにより、性別がクレジット限度額意思決定に与える影響が最小限であり、他の金融的・人口統計的特徴と比べて顕著に低いスコアであった。
• 異なる順位付けアルゴリズムに対してもこの手法は頑健であり、一貫した結果を示し、公平性監査における信頼性を裏付けた。
• クエリアクセスが制限された場合にスレーブモデルが使用されたが、モデルの誤表現によりパフォーマンスが低下したため、ブラックボックスの直接クエリが優位であることが示された。
• この手法により、アナリストはモデル出力を決定づける特徴を素早く特定でき、標的的な公平性調査や規制適合を支援できる。