[論文レビュー] Loss Minimization Yields Multicalibration for Large Neural Networks

Jarosław Błasiok, Parikshit Gopalan+3 more|arXiv (Cornell University)|Apr 19, 2023

Adversarial Robustness in Machine Learning被引用数 2

ひとこと要約

この論文は、保護群がサイズkのより小さいニューラルネットワークで表現可能な場合、サイズn > kの大きなニューラルネットワーク上で二乗損失を最小化すると、不運なn値を除き、すべてのn値に対してマルチキャリブレーションが達成されることを示している。この結果は、標準的な損失最小化と公平性の間の直接的な関係を確立し、深層ネットワークの表現力を利用して、明示的な後処理を伴わずに多様なサブグループにおけるキャリブレーションを暗黙的に満たすことを可能にする。

ABSTRACT

Multicalibration is a notion of fairness for predictors that requires them to provide calibrated predictions across a large set of protected groups. Multicalibration is known to be a distinct goal than loss minimization, even for simple predictors such as linear functions. In this work, we consider the setting where the protected groups can be represented by neural networks of size $k$, and the predictors are neural networks of size $n > k$. We show that minimizing the squared loss over all neural nets of size $n$ implies multicalibration for all but a bounded number of unlucky values of $n$. We also give evidence that our bound on the number of unlucky values is tight, given our proof technique. Previously, results of the flavor that loss minimization yields multicalibration were known only for predictors that were near the ground truth, hence were rather limited in applicability. Unlike these, our results rely on the expressivity of neural nets and utilize the representation of the predictor.

研究の動機と目的

• 標準的な損失最小化が、多様なサブグループにおける予測がキャリブレーションされている必要がある公平性基準・マルチキャリブレーションを、大きなニューラルネットワーク上で達成できるかどうかを調査すること。
• 大きなニューラルネットワークの表現力が、明示的な公平性制約や後処理を必要とせずに、暗黙的にマルチキャリブレーションを実現できるかどうかを特定すること。
• 損失最小化がより大きな仮説クラス（n > k）上で行われる場合、サイズkのネットワークで表現可能なサブグループ（k）に対してマルチキャリブレーションが成立する条件を分析すること。
• 深層学習モデルが最適化そのものによって自然に公平性特性（例：マルチキャリブレーション）を達成する理論的根拠を提供すること。

提案手法

• Kimら（2022）の定義に従い、オーディト関数と予測誤差の内積に関する制約としてマルチキャリブレーションを形式化する。
• 保護群をサイズkのニューラルネットワークとしてモデル化し、予測器をサイズn > kのニューラルネットワークとしてモデル化する。
• 表現論的議論を用いて、サイズnのネットワーク上での損失最小化が、有限個のn値を除き、すべてのn値に対して自然にマルチキャリブレーションを満たすことを示す。
• 双対性と近似理論を用いて、マルチキャリブレーションが失敗する可能性がある「不運な」n値の数を上限で評価する。
• ニューラルネットワークがマルチキャリブレーションに必要な後処理ステップに関して閉じているという事実を活用し、最適化によってキャリブレーション済み予測器を構築可能であることを示す。
• 現在の証明技法において、不運なn値の数に対する上限がタイトである証拠を提供する。

実験結果

リサーチクエスチョン

• RQ1 サイズn > kの大きなニューラルネットワーク上で二乗損失を最小化すると、サイズkのネットワークで定義されるサブグループに対してマルチキャリブレーションが達成されるか？
• RQ2 大きなニューラルネットワークの表現力が、明示的な公平性制約や後処理を伴わずに、暗黙的にマルチキャリブレーションを強制できるか？
• RQ3 損失最小化にもかかわらずマルチキャリブレーションが失敗する可能性がある「不運な」n値（予測器ネットワークのサイズ）はいくつあるか？
• RQ4 現在の証明フレームワークにおいて、不運なn値の数に対する上限はタイトか？
• RQ5 真の関数が仮説クラスに完全に表現可能でない場合でも、標準的な深層学習最適化が、マルチキャリブレーションのような公平性基準を暗黙的に満たすことができるか？

主な発見

• サイズn > kのニューラルネットワーク上で二乗損失を最小化すると、サイズkのネットワークで表現可能なオーディタ関数クラスCのすべてのn値に対して、(C, γ)-マルチキャリブレーションが達成されるが、有限個のn値を除き成立する。
• マルチキャリブレーションが失敗する可能性がある「不運な」n値の数は有界であり、現在の証明技法においてその上限はタイトである。
• 真の関数が仮説クラス内に表現可能である必要がないという前提でもこの結果が成り立つため、完全な表現可能性が現実的でない状況にも適用可能である。
• 証明はニューラルネットワークの表現力と、マルチキャリブレーションに必要な後処理ステップに関しての閉包性に依存している。
• 本研究は、標準的な損失最小化によって深層ニューラルネットワークを学習させることで、多様なサブグループにわたる公平性特性（例：マルチキャリブレーション）が自然に得られる理論的根拠を提供する。
• 研究結果は、実務家にとって損失最小化がマルチキャリブレーションを達成するのと整合的である可能性を示唆しており、特に局所最適解を回避する反復的最適化と組み合わせると顕著である。