[論文レビュー] Individual Fairness in Pipelines

Cynthia Dwork, Christina Ilvento+1 more|arXiv (Cornell University)|Jan 1, 2020

Ethics and Social Impacts of AI参考文献 23被引用数 11

ひとこと要約

本稿は、パイプラインシステムにおける個人の公平性を保証する形式的枠組みを導入する—段階的な選別や選択が行われる順序的ワークフローで、後続の意思決定が集団構成に依存するものである。著者は、集団依存スコアリングのため、単に公平なコンポONENTSを適用しても、任意に不公平な結果が生じ得ることを示し、類似した個人に対して類似した集団文脈を保証することで、将来のスコアリング方針の広い範囲においても公平性を維持する、強固な集団選択メカニズムを提案する。

ABSTRACT

It is well understood that a system built from individually fair components may not itself be individually fair. In this work, we investigate individual fairness under pipeline composition. Pipelines differ from ordinary sequential or repeated composition in that individuals may drop out at any stage, and classification in subsequent stages may depend on the remaining "cohort" of individuals. As an example, a company might hire a team for a new project and at a later point promote the highest performer on the team. Unlike other repeated classification settings, where the degree of unfairness degrades gracefully over multiple fair steps, the degree of unfairness in pipelines can be arbitrary, even in a pipeline with just two stages. Guided by a panoply of real-world examples, we provide a rigorous framework for evaluating different types of fairness guarantees for pipelines. We show that naïve auditing is unable to uncover systematic unfairness and that, in order to ensure fairness, some form of dependence must exist between the design of algorithms at different stages in the pipeline. Finally, we provide constructions that permit flexibility at later stages, meaning that there is no need to lock in the entire pipeline at the time that the early stage is constructed.

研究の動機と目的

• パイプラインにおける個々の公平性が保証されるものの、集団依存意思決定のため、依然として不公平な結果が生じるというアルゴリズム的公平性における重要なギャップを埋める。
• 集団のフィルタリングや文脈に依存するスコアリングによって、標準的な逐次合成とは異なる、パイプラインシステムのための公平性保証を形式化する。
• 標準的な監査手法が、特に将来的なスコアリング方針を悪用する集団選択が行われる場合に、パイプラインにおけるシステム的不公平性を検出できないことを示す。
• 初期段階での集団設計に公平性制約を組み込むことで、後続段階でのスコアリングに柔軟性を保ちつつ、幅広い将来的なスコアリング関数に対して耐性を持つ集団選択メカニズムを構築する。

提案手法

• 集団パイプラインの形式的モデルを提案し、個々の公平性制約を含む。無条件公平性と条件付き公平性の指標を区別する。
• 条件付きロバストネスを公平性保証として導入し、下流のスコアリング方針にかかわらず、最終的な結果分布が公平であることを保証する。
• 「品質対称的」な集団選択メカニズムを定義し、類似した個人が許容可能な集団の類似分布に割り当てられることを保証する。
• 結果分布の距離空間におけるリプシッツ連続性を用いて、期待スコアと質量移動距離（MMD）の両指標において公平性を形式化する。
• 条件付きロバストネスが、リプシッツ定数（α + 1）の範囲内で無条件ロバストネスを含意することを確立し、公平性保証の移譲性を可能にする。
• 公平性制約を初期段階の集団設計に組み込むことで、後続段階のスコアリングに柔軟性をもたらす構成を提供する。

実験結果

リサーチクエスチョン

• RQ1 パイプライン内の個別に公平なコンポonentsであっても、集団依存スコアリングのため、全体として不公平な結果が生じ得るか？
• RQ2 個々のコンポonentsが公平である場合でも、なぜ標準的な監査手法がパイプラインシステムにおける不公平性を検出できないのか？
• RQ3 幅広い下流のスコアリング方針に対して公平性を保証するために、集団選択に必要な十分な構造的条件は何か？
• RQ4 将来の未知のスコアリング関数に対しても公平性を保ちつつ、公平性を損なわない集団選択メカニズムはどのように設計できるか？
• RQ5 パイプライン合成における公平性を最もよく捉える数学的枠組み（例：MMD、期待スコア）は何か？

主な発見

• パイプラインにおける公平性の単純な監査では、システム的不公平性を検出できない。悪意あるパイプラインは各段階で公平に見えるが、全体として偏りのある結果を生じさせ得る。
• パイプラインにおける不公平度は、2段階のみのシステムであっても、標準的な逐次合成における滑らかな劣化とは異なり、任意に大きくなり得る。
• 下流のスコアリング方針に対するロバストネスには、類似した個人が類似した集団文脈の分布に割り当てられる必要がある。単に類似した結果を出すのではなく、文脈の類似性が重要である。
• 条件付きロバストネス（集団を前提とした公平性）は、リプシッツ定数（α + 1）の範囲内で無条件ロバストネス（全体としての公平性）を含意し、公平性保証の移譲性を可能にする。
• 質量移動距離（MMD）は、期待スコアよりも強い公平性測定指標であり、|E[X1]−E[X2]| ≤3MMD(X1,X2) という関係により、公平性評価においてより緊密なバインドを提供する。
• 本稿では、単純なポリシー記述を用いて、豊富なスコアリング方針の族に対してロバストな集団選択メカニズムを構築し、後続段階の意思決定に柔軟性をもたせつつ、公平性を損なわない。