[論文レビュー] Sample Complexity of Uniform Convergence for Multicalibration

Eliran Shabat, Lee M. Cohen+1 more|arXiv (Cornell University)|May 4, 2020

Privacy-Preserving Technologies in Data参考文献 25被引用数 9

ひとこと要約

本稿は、グラフ次元を用いて先行研究を超える一般化を達成するなど、有限および無限の予測子クラスにおける多校正誤差の一様収束のための標本複雑度の上限を確立する。よりタイトで、アグノスティックな複雑度に配慮した境界を提供し、経験的および真の多校正誤差が近いことを保証することで、予測精度に依存しない信頼性の高い公平性評価を可能にする。

ABSTRACT

There is a growing interest in societal concerns in machine learning systems, especially in fairness. Multicalibration gives a comprehensive methodology to address group fairness. In this work, we address the multicalibration error and decouple it from the prediction error. The importance of decoupling the fairness metric (multicalibration) and the accuracy (prediction error) is due to the inherent trade-off between the two, and the societal decision regarding the "right tradeoff" (as imposed many times by regulators). Our work gives sample complexity bounds for uniform convergence guarantees of multicalibration error, which implies that regardless of the accuracy, we can guarantee that the empirical and (true) multicalibration errors are close. We emphasize that our results: (1) are more general than previous bounds, as they apply to both agnostic and realizable settings, and do not rely on a specific type of algorithm (such as deferentially private), (2) improve over previous multicalibration sample complexity bounds and (3) implies uniform convergence guarantees for the classical calibration error.

研究の動機と目的

• 部分集団全体にわたって経験的多校正誤差が真の多校正誤差に近くなるように保証する統計的課題に対処する。
• 公平性（多校正）と予測精度を分離し、規制的および社会的妥当性のトレードオフ意思決定を支援する。
• アグノスティックおよび実現可能な学習設定の両方に適用可能な、一般化されたアルゴリズムに依存しない標本複雑度の境界を提供する。
• 古典的キャリブレーション誤差を特別なケースとして、一様収束の保証を拡張する。
• 信頼性のある多校正推定に必要な標本サイズのタイトな上界および下界を導出する。

提案手法

• 無限の予測子クラスの複雑度測度としてグラフ次元を用い、VC次元を多校正に一般化する。
• シンメトリゼーションおよびラデマッハ複雑度を用いた一様収束技術を適用し、経験的および真の多校正誤差の乖離を境界化する。
• 連続的な予測値（例：[0,1]）の有限近似として、誤差損失を制御可能な有限値の集合に離散化する。
• 集中不等式（例：ホフディングの不等式）を用い、部分集団レベルでの予測と実現の乖離を境界化する。
• バイアス付きコイン識別問題への還元を用いて、下界を証明し、標本複雑度の下界Ω(1/(ψγε²) log(1/δ))を確立する。
• 部分集団サンプリングおよび予測の一貫性に関する補題を用い、各部分集団および予測値ごとの誤差を制御する。

実験結果

リサーチクエスチョン

• RQ1 すべての部分集団および予測値にわたって多校正誤差の一様収束を保証するために必要な最小の標本サイズは何か？
• RQ2 特にアグノスティックな設定において、標本複雑度は予測子クラスの複雑度にどのように依存するか？
• RQ3 連続的な予測出力に対して、重大な誤差の増大なしに多校正の一様収束境界を拡張できるか？
• RQ4 多校正の一様収束のための標本複雑度のタイトな下界は何か？
• RQ5 グラフ次元および部分集団サイズは、多校正誤差の一般化にどのように影響するか？

主な発見

• サイズ|H|の有限仮説クラスに対して、(ε, γ, ψ)-一様多校正収束を達成するには、標本サイズO((1/ε²) log(|H|/δ))が必要である。
• グラフ次元d_G(H) ≤ dである無限クラスに対しては、標本複雑度はO((1/ε²ψ²γ)(d + log(|Γ||Y|/δ)))であり、先行研究の境界を改善する。
• 標本複雑度の下界はΩ(1/(ψγε²) log(1/δ))であり、上界におけるεおよびγ依存性と対数的要因を除いて一致する。
• 結果は、部分集団が予測値によって定義される場合に古典的キャリブレーション誤差の一様収束を含む特殊ケースを示唆する。
• 先行研究が実現可能性や特定のアルゴリズム的仮定を必要とするのに対し、本結果はアグノスティックおよび実現可能な両設定で成り立つ。
• 連続予測の有限集合への離散化により、最大λの誤差が生じるが、グラフ次元は1/λに比例するが、フレームワークは一般化可能である。