[論文レビュー] Algorithm Design: A Fairness-Accuracy Frontier

Annie Liang, Jay Lu+2 more|arXiv (Cornell University)|Dec 18, 2021

Game Theory and Voting Systems被引用数 8

ひとこと要約

本稿は、事前に定義されたグループ間におけるアルゴリズム意思決定における公平性と精度の最適なトレードオフを特徴付ける、公平性-精度フロンティアを導入する。グループのバランス——入力データの性質——がフロンティアの形状を決定する主要因であることが特定され、入力がグループバランスである場合、グループアイデンティティを除外することは厳密に劣化するが、グループアイデンティティが利用可能な場合、有益な入力を除外することは劣化する。

ABSTRACT

Algorithm designers increasingly optimize not only for accuracy, but also for the fairness of the algorithm across pre-defined groups. We study the tradeoff between fairness and accuracy for any given set of inputs to the algorithm. We propose and characterize a fairness-accuracy frontier, which consists of the optimal points across a broad range of preferences over fairness and accuracy. Our results identify a simple property of the inputs, group-balance, which qualitatively determines the shape of the frontier. We further study an information-design problem where the designer flexibly regulates the inputs (e.g., by coarsening an input or banning its use) but the algorithm is chosen by another agent. Whether it is optimal to ban an input generally depends on the designer's preferences. But when inputs are group-balanced, then excluding group identity is strictly suboptimal for all designers, and when the designer has access to group identity, then it is strictly suboptimal to exclude any informative input.

研究の動機と目的

• 事前に定義されたグループ間におけるアルゴリズム意思決定における公平性と精度のトレードオフを形式化すること。
• 公平性と精度の両方を重視する広範な好みのクラスにおいて、パレート最適な結果の集合として公平性-精度フロンティアを特徴付けること。
• 入力情報に関する制約——例えば入力の禁止や粗い表現——が達成可能な公平性-精度トレードオフに与える影響を調査すること。
• デザイナーにとってグループアイデンティティやその他の有益な入力を除外することが最適または劣化する状況を特定すること。
• 戦略的入力制御を通じて情報設計が公平性-精度フロンティアをどのように形作るかを分析すること。

提案手法

• より高い精度（低いグループ誤差）とより高い公平性（誤差差の小ささ）を満たす好みを、公平性-精度（FA）好みと定義する。
• FA好みの下でパレート最適な結果の集合として公平性-精度フロンティアを構築し、最適なトレードオフを表す。
• 2つのグループの基本誤差率が等しい状態である「グループバランス」の概念を導入し、フロンティアの定性的な形状を分類する。
• デザイナーがアルゴリズムデザイナーに利用可能な情報を制御する情報設計問題として入力制御をモデル化する。
• 入力のガーブリング（情報の曇らせ）を用いて情報制約をモデル化し、その制約が得られる公平性-精度フロンティアに与える影響を分析する。
• ゲーム理論的および情報理論的ツールを用いて、エージェントの従順性と望ましい誤差プロファイルの実装可能性を分析する。

実験結果

リサーチクエスチョン

• RQ1 公平性-精度フロンティアの形状は、入力データの統計的性質にどのように依存するか？
• RQ2 グループアイデンティティを除外することが、公平性-精度トレードオフを達成するために厳密に劣化する条件は何か？
• RQ3 どの状況で有益な入力を除外することが最適であり、どの状況で劣化するか？
• RQ4 情報設計による入力制御は、公平性-精度フロンティアの任意の点を達成可能か？
• RQ5 グループバランスは、入力の除外または含める最適性を決定する上で果たす役割は何か？

主な発見

• 入力がグループバランスである場合、公平性-精度フロンティアはシングルトン点（1点）となる。これは、両グループの基本誤差率が等しいことを意味する。
• 入力がグループバランスである場合、すべてのデザイナーにとってグループアイデンティティを除外することは厳密に劣化する。なぜなら、最適なフロンティアに到達できないからである。
• グループアイデンティティが利用可能な場合、いかなる有益な入力も除外することは厳密に劣化する。なぜなら、完全な公平性-精度フロンティアにアクセスできなくなるからである。
• 入力 $X'$ が両グループに対して意思決定に関連する場合、$(X, X')$ における公平性-精度フロンティアは $X$ 単独のものよりも厳密に劣化する。これは一様な悪化を示している。
• 入力が偏っている場合、入力設計における公平性-精度フロンティアは制約なしのフロンティアと交差しないが、バランスが取れている場合には交差する可能性がある。
• 特定の例では、ノン信号 $X$ を使用すると両グループの均一誤差は 0.5 になるが、$X'$ を使用するとエゴイスト的デザイナーにとって厳密に悪い結果となる。これは、情報の使用が注意深く制御されていないと有害である可能性を示している。