[論文レビュー] Moment Multicalibration for Uncertainty Estimation

Christopher Jung, Chang Hwa Lee+3 more|arXiv (Cornell University)|Aug 18, 2020

Machine Learning and Algorithms参考文献 29被引用数 12

ひとこと要約

この論文は、特徴量に基づく条件付きラベル分布の平均だけでなく、分散、歪度などの高次モーメント（例：分散、歪度）を推定する枠組み「モーメントマルチキャリブレーション」を導入する。細分化されたサブポピュレーション全体でモーメント推定値がキャリブレートされることを保証することで、さまざまなサブグループにわたる予測区間を同時に有効にし、予測の不平等性を診断し、不確実性を考慮したサブグループに強い予測を、形式的な統計的保証とともに可能にする。

ABSTRACT

We show how to achieve the notion of "multicalibration" from Hébert-Johnson et al. [2018] not just for means, but also for variances and other higher moments. Informally, it means that we can find regression functions which, given a data point, can make point predictions not just for the expectation of its label, but for higher moments of its label distribution as well-and those predictions match the true distribution quantities when averaged not just over the population as a whole, but also when averaged over an enormous number of finely defined subgroups. It yields a principled way to estimate the uncertainty of predictions on many different subgroups-and to diagnose potential sources of unfairness in the predictive power of features across subgroups. As an application, we show that our moment estimates can be used to derive marginal prediction intervals that are simultaneously valid as averaged over all of the (sufficiently large) subgroups for which moment multicalibration has been obtained.

研究の動機と目的

• 非パラメトリック回帰における原理的でない不確実性推定の欠如、特に特徴量に基づくサブグループにおける個別予測に対して、これを是正すること。
• 元来平均予測に特化していたマルチキャリブレーションの概念を、分散や中心モーメントなどの高次モーメントへと拡張すること。
• 特徴量に基づくパーティションによって定義される十分に大きなすべてのサブグループに対して、同時に有効な予測区間を構築する方法を提供すること。
• サブグループごとにモーメント推定値（例：分散）が系統的に高かったり、不正確だったりするかどうかを検出することで、予測の不公平性を診断すること。
• モーメントマルチキャリブレーションのもとで、マージナル予測区間のカバレッジ確率が、複雑で重複するサブポピュレーションに条件付けられていても、形式的に保証されることを明文化すること。

提案手法

• 予測されたモーメント（平均、分散など）が、事前に定義されたグループの家族に属する任意のサブグループ上で平均化されたときに、真の条件付きモーメントと一致することを保証するモーメントマルチキャリブレーションの概念を提唱する。
• 平均とモーメント推定値の近似誤差をサブグループ全体で制御する、(α,β,ε)-平均条件付きモーメントマルチキャリブレーションの概念を導入する。
• データポイントを予測された平均とモーメント値（例：i/m と j/m）でグループ化するための離散化スキームを用いる。これにより、サブグループ G(μ̄, m̄k, i, j) を形成する。
• モーメント推定値に基づいて、ラベルの予測平均からの逸脱確率の尾部確率を制限する一般化されたチエビシェフ型不等式（補題5.1）を適用する。
• 予測された平均 μ̄(x) とモーメント m̄k(x) を用いて、[ℓ(x), u(x)] の形式の予測区間を構築する。境界はモーメントに基づく逸脱閾値から導出される。
• Hébert-Johnson ら（2018）の既存のマルチキャリブレーションアルゴリズムを基盤とし、それらを拡張して、すべてのサブグループで同時にモーメント推定値をキャリブレートできるようにする。

実験結果

リサーチクエスチョン

• RQ1 マルチキャリブレーションは、分散や歪度といった高次モーメントへの拡張が可能か？
• RQ2 モーメントマルチキャリブレートされた予測器を用いて、十分に大きなすべてのサブグループに対して同時に有効な予測区間を構築できるか？
• RQ3 モーメントマルチキャリブレーションは、人種的・特徴量ベースのサブグループにおける予測性能の不公平性を検出・診断するのにどのように役立つか？
• RQ4 モーメントマルチキャリブレート推定値から導かれる予測区間のカバレッジ確率に対する理論的保証は何か？
• RQ5 分散や尖度といった複数のモーメントを効果的に組み合わせることで、予測区間の品質を向上させられるか？

主な発見

• 本論文は、(α,β,ε)-平均条件付きモーメントマルチキャリブレーションのもとで、モーメント推定値から構築された予測区間が、確率質量がγ以上である任意のサブグループGにおいて、カバレッジ確率が少なくとも1−δに達することを証明している。
• 導出された予測区間は、平均とモーメント値の離散化された予測に基づくサブグループで条件付けられた場合に、サブグループ固有の信頼性を保証する。
• 本手法は、複雑で重複するサブポピュレーションに条件付けられていても、ラベルが予測区間の外側にある確率がδで抑えられることを保証する。
• 本フレームワークは、マルチキャリブレートされたモーメント推定値を通じて、予測不確実性が高め（例：分散が大きい）サブグループの検出を可能にし、潜在的な公平性の問題を示唆する。
• 奇数次のモーメントに対しても絶対中心モーメントを用いることで一般化可能であり、適切な尾部確率の境界を用いれば、任意のモーメント次数kに対して理論的保証が成り立つ。
• 複数のモーメントを最適に活用する方法は未解決の問題であるが、本フレームワークは、部分集合コストの集合被覆問題に還元可能であり、今後の近似改善の可能性を示唆している。