[論文レビュー] Fair Pipelines

Amanda Bower, Sarah N. Kitchen+4 more|arXiv (Cornell University)|Jul 3, 2017

Ethics and Social Impacts of AI参考文献 4被引用数 7

ひとこと要約

この論文は、複数段階のプロセスを通じた公平性の伝播を分析することで、複合的な機械学習意思決定における公平性を分離するフレームワークであるFair Pipelinesを導入する。(1+ε)-等しい機会の下では、個々の公平なコンポonentでさえも全体のパイプラインが公平でないことがあることが示され、公平性が保持される条件を同定し、現実世界の意思決定システムにおける頑健な公平性の基盤を提供する。

ABSTRACT

This work facilitates ensuring fairness of machine learning in the real world by decoupling fairness considerations in compound decisions. In particular, this work studies how fairness propagates through a compound decision-making processes, which we call a pipeline. Prior work in algorithmic fairness only focuses on fairness with respect to one decision. However, many decision-making processes require more than one decision. For instance, hiring is at least a two stage model: deciding who to interview from the applicant pool and then deciding who to hire from the interview pool. Perhaps surprisingly, we show that the composition of fair components may not guarantee a fair pipeline under a $(1+\varepsilon)$-equal opportunity definition of fair. However, we identify circumstances that do provide that guarantee. We also propose numerous directions for future work on more general compound machine learning decisions.

研究の動機と目的

• 単一の意思決定に焦点を当ててきたアルゴリズムの公平性研究におけるギャップを埋めるために、複合意思決定プロセスにおける公平性を研究すること。
• ハーリングやローン承認ワークフローのような、複数段階の意思決定パイプラインを通じた公平性の伝播を分析すること。
• パイプライン内の公平なコンポーネントが、総合的に公平な結果をもたらす条件を同定すること。
• 複雑で現実世界の機械学習システムにおける、逐次的意思決定を伴う公平性を保証する理論的基盤を提供すること。

提案手法

• 論文は、入力データに基づいて意思決定を行う逐次的な機械学習コンポーネントから成るパイプラインとして、複合意思決定をモデル化する。
• 標準的な等しい機会を複数段階の設定に拡張した、(1+ε)-等しい機会基準を用いたパイプラインの公平性の形式的定義を導入する。
• 数学的合成を通じて、初期段階での公平性が後続段階での公平性にどのように影響するかを分析することで、公平性の伝播を分析する。
• 公平なコンポーネントの合成が公平なパイプラインをもたらす十分条件を導出し、意思決定のしきい値と特徴量分布の間の相互作用に注目する。
• ハーリングやローン提供などの現実世界のシナリオにフレームワークを適用し、実用的意義を提示する。
• 理論的分析は、公平性を段階を越えて保持するのに役立つ構造的性質（例：単調性、キャリブレーション）の同定によって支援される。

実験結果

リサーチクエスチョン

• RQ1 (1+ε)-等しい機会の定義の下で、パイプライン内の公平なコンポーネントの合成が、公平な全体のパイプラインをもたらす条件は何か？
• RQ2 個々のコンポーネントが公平であっても、意思決定が逐次的に行われる段階を経る中で、公平性はどのように劣化または伝播するか？
• RQ3 パイプラインコンポーネントの構造的または分布的性質のうち、どの性質が段階間での公平性の保持を保証するか？
• RQ4 リソース制約下や限られたデータのもとで、公平性の保証を維持することは可能か？
• RQ5 公平性の合成が、ハーリングやクレジットスコアリングのような現実世界の応用に及ぼす影響は何か？

主な発見

• 公平なコンポーネントの合成が、(1+ε)-等しい機会の定義の下で公平なパイプラインを保証するとは限らないことが示され、意思決定の逐次的処理において公平性が常に保持されるわけではないことが明らかになった。
• 単調性や段階間のキャリブレーションといった、特定の構造的条件が、公平なコンポーネントが公平なパイプラインをもたらす場合がある。
• 論文は、選択バイアスや段階間での特徴量のシフトが、個々のコンポーネントが公平であっても公平性の劣化を引き起こす要因であると同定した。
• 理論的分析により、公平性の伝播は、段階間での意思決定のしきい値と特徴量分布の相互作用に強く依存することが示された。
• 本フレームワークは、意思決定が本質的に複数段階である複雑な現実世界のシステムにおける、公平性に配慮したパイプライン設計の基盤を提供する。