[論文レビュー] Metric-Free Individual Fairness in Online Learning

Yahav Bechavod, Christopher Jung+1 more|arXiv (Cornell University)|Feb 13, 2020

Advanced Bandit Algorithms Research参考文献 20被引用数 6

ひとこと要約

本稿では、既知またはパラメトリックな類似度メトリックを仮定せずに、個々の公平性を満たすメトリックフリーなオンライン学習フレームワークを提案する。代わりに、公平性違反（不適切に扱われた個人のペア）を特定するオーディタを用いることで、類似度の定量的測定を必要とせず、最小限のフィードバック仮定のもとで、精度および公平性の両方についてサブリニアなレグレットと一般化保証を達成する。

ABSTRACT

We study an online learning problem subject to the constraint of individual fairness, which requires that similar individuals are treated similarly. Unlike prior work on individual fairness, we do not assume the similarity measure among individuals is known, nor do we assume that such measure takes a certain parametric form. Instead, we leverage the existence of an auditor who detects fairness violations without enunciating the quantitative measure. In each round, the auditor examines the learner's decisions and attempts to identify a pair of individuals that are treated unfairly by the learner. We provide a general reduction framework that reduces online classification in our model to standard online classification, which allows us to leverage existing online learning algorithms to achieve sub-linear regret and number of fairness violations. Surprisingly, in the stochastic setting where the data are drawn independently from a distribution, we are also able to establish PAC-style fairness and accuracy generalization guarantees (Rothblum and Yona [2018]), despite only having access to a very restricted form of fairness feedback. Our fairness generalization bound qualitatively matches the uniform convergence bound of Rothblum and Yona [2018], while also providing a meaningful accuracy generalization guarantee. Our results resolve an open question by Gillen et al. [2018] by showing that online learning under an unknown individual fairness constraint is possible even without assuming a strong parametric form of the underlying similarity measure.

研究の動機と目的

• 既知またはパラメトリックな類似度メトリックを仮定せずに、オンライン学習における個々の公平性の課題に対処すること。
• 人間から類似度の定量的測定を獲得するという実用的障壁を乗り越えるために、公平性違反の検出という弱い形式のフィードバックに依存すること。
• 限られたフィードバックのもとで、確率的設定において精度および公平性の両方の一般化保証を確立すること。
• Gillenら（2018）が提起した未解決の問い、すなわち、強いメトリック仮定なしに未知の個々の公平性制約のもとでのオンライン学習が可能かどうかを解消すること。

提案手法

• ラグランジュ形式を用いて、オンライン公平分類を標準的なオンライン分類に変換する還元フレームワークを導入する。
• 各ラウンドで、差の程度を指定せずに、不適切に扱われた1組の個人を特定するオーディタを用いる。
• 還元問題に指数的重み法およびフォローザ・ペチューブド・リーダー（FTPL）アルゴリズムを適用し、レグレットバウンドを達成する。
• オーディタのフィードバックを活用して公平性のずれを制御する均一収束スタイルの分析を用いて、一般化バウンドを導出する。
• ラグランジュ双対形式を用いて、精度と公平性の目的関数を分離する、新しいレグレット分解を導入する。
• レグレットバウンドと公平性違反レベル（λ）の上限を、ラウンド数Tと問題の複雑さに比例する形で確立する。

実験結果

リサーチクエスチョン

• RQ1 既知またはパラメトリックな類似度メトリックを仮定せずに、個々の公平性におけるオンライン学習が可能か？
• RQ2 オーディタからの違反検出フィードバックのみを用いて、精度および公平性の両方でサブリニアなレグレットと一般化を達成できるか？
• RQ3 完全なメトリック情報が欠如する状況下で、精度および公平性の一般化レートは、均一収束バウンドとどのように比較されるか？
• RQ4 1ラウンドあたり1組の不適切なペアを特定するという最小限のフィードバックのみで、フレームワークが確率的設定に一般化可能か？
• RQ5 基本的な類似度測定に関する仮定を排除した場合、レグレットレートと公平性保証のトレードオフはいかなるものか？

主な発見

• 提案されたフレームワークは、既知またはパラメトリックな類似度メトリックを仮定せずに、精度および公平性違反の両方についてサブリニアなレグレットを達成する。
• 指数的重み法では、平均方策π^avgの精度誤差はO(T^(-1/4) / αk · √(ln(|F|/δ)))、公平性違反レベルλはO((k/α)^(1/2) · (ln(|F|/δ))^(1/4) · T^(-1/8))である。
• フォローザ・ペチューブド・リーダー（FTPL）では、精度誤差はO(n^(3/4) · ln(|F|)^(1/2) · T^(-4/9) / (αk) + √(ln(Tk/δ)/T) + T^(-2/9))、公平性違反λはO(k^(1/2) · n^(3/8) · ln(|F|Tk/δ)^(1/4) · T^(-1/9))である。
• 公平性一般化バウンドは、限定的なフィードバックを受けたにもかかわらず、RothblumとYona（2018）の均一収束バウンドと定性的に一致する。
• Gillenら（2018）が提起した未解決の問いを解消し、類似度測定に関する強いパrametric仮定なしに、未知の個々の公平性制約のもとでのオンライン学習が可能であることを示した。
• オーディタが1時間間隔ごとに1つの公平性違反を報告するのみであっても、定量的類似度測定を要件とせず、非自明な一般化保証を達成する。