[論文レビュー] Loss Minimization Through the Lens Of Outcome Indistinguishability

Parikshit Gopalan, Lunjia Hu+3 more|arXiv (Cornell University)|Oct 16, 2022

Bayesian Modeling and Causal Inference被引用数 3

ひとこと要約

本稿では、損失関数と予測の統合を実現する新しいフレームワークである損失出力の区別不能性（Loss OI）を導入する。これは、損失関数と仮説クラスから導かれる統計的検定のクラスにおいて、予測器が自然の真の出力確率分布と計算的に区別不能であることを保証することで実現される。本稿は、一般化線形モデルからの凸損失に対して、キャリブレーション済みマルチアキュラシー（calibrated multiaccuracy）—新たな公平性に配慮した条件—がLoss OIを示すことを示し、完全なマルチキャリブレーションを必要とせずに効率的なオムニプレディクションを可能にする。また、損失固有の最適化手法と競合する性能を示す実用的なアルゴリズムを提供する。

ABSTRACT

We present a new perspective on loss minimization and the recent notion of Omniprediction through the lens of Outcome Indistingusihability. For a collection of losses and hypothesis class, omniprediction requires that a predictor provide a loss-minimization guarantee simultaneously for every loss in the collection compared to the best (loss-specific) hypothesis in the class. We present a generic template to learn predictors satisfying a guarantee we call Loss Outcome Indistinguishability. For a set of statistical tests--based on a collection of losses and hypothesis class--a predictor is Loss OI if it is indistinguishable (according to the tests) from Nature's true probabilities over outcomes. By design, Loss OI implies omniprediction in a direct and intuitive manner. We simplify Loss OI further, decomposing it into a calibration condition plus multiaccuracy for a class of functions derived from the loss and hypothesis classes. By careful analysis of this class, we give efficient constructions of omnipredictors for interesting classes of loss functions, including non-convex losses. This decomposition highlights the utility of a new multi-group fairness notion that we call calibrated multiaccuracy, which lies in between multiaccuracy and multicalibration. We show that calibrated multiaccuracy implies Loss OI for the important set of convex losses arising from Generalized Linear Models, without requiring full multicalibration. For such losses, we show an equivalence between our computational notion of Loss OI and a geometric notion of indistinguishability, formulated as Pythagorean theorems in the associated Bregman divergence. We give an efficient algorithm for calibrated multiaccuracy with computational complexity comparable to that of multiaccuracy. In all, calibrated multiaccuracy offers an interesting tradeoff point between efficiency and generality in the omniprediction landscape.

研究の動機と目的

• 損失最小化とオムニプレディクションを、出力の区別不能性に基づく新しい計算的枠組みによって統合すること。
• 完全なマルチキャリブレーションを必要とせず、凸損失に対してオムニプレディクションを保証する最小条件である「キャリブレーション済みマルチアキュラシー」を同定すること。
• 損失固有のモデルを上回る性能を発揮する、効率的でモジュラーなアルゴリズムを構築すること。
• 凸損失に対して、Loss OIとBregman損失のピタゴラス定理との幾何的同等性を確立すること。

提案手法

• 損失関数と仮説クラスから導かれる統計的検定のクラスにおいて、予測器が自然の真の出力分布と計算的に区別不能であることを保証する、損失出力の区別不能性（Loss OI）を提案する。
• Loss OIを、損失と仮説クラスから導かれる関数クラスに基づく、キャリブレーションとマルチアキュラシーの2つのモジュラーな条件に分解する。
• マルチアキュラシーとマルチキャリブレーションの間にある新たな公平性の概念として、キャリブレーション済みマルチアキュラシーを導入し、凸損失に対してLoss OIを示すことを証明する。
• マルチアキュラシーに線形回帰、キャリブレーションに等方的回帰を組み合わせた、計算量が標準的なマルチアキュラシーと同等の効率的アルゴリズム（calMA）を開発する。
• 一般化線形モデルに対して、Loss OIとBregman損失におけるピタゴラス定理との幾何的同等性を確立する。
• 予測の改善を段階的に実行するブースティング風の反復手続きを採用し、サブポピュレーション全体にわたりキャリブレーションとマルチアキュラシーを保証する。

実験結果

リサーチクエスチョン

• RQ1 再トレーニングを伴わずに、複数の損失関数に対して近似的に最適な性能を達成できる単一の予測器は存在するか？
• RQ2 与えられた損失クラスに対して、予測器がすべての損失に対して同時に有効であることを保証する最小条件は何か？
• RQ3 キャリブレーション済みマルチアキュラシーは、マルチアキュラシーとマルチキャリブレーションといった既存の公平性・キャリブレーションの概念とどのように関係しているか？
• RQ4 凸損失に対して、Loss OIはBregman損失の幾何的性質（ピタゴラス定理）として特徴付けられるか？
• RQ5 完全なマルチキャリブレーションを必要とせず、Loss OIを達成する効率的アルゴリズムは存在するか？

主な発見

• 一般化線形モデルから導かれるすべての凸損失に対して、キャリブレーション済みマルチアキュラシーは、完全なマルチキャリブレーションを必要とせずにLoss OIを示す。
• 提案されたcalMAアルゴリズムは、損失固有の最適化手法と同等またはそれ以上の性能を発揮し、多くの損失タイプでそれを上回ることがある。
• 実験では、高次元設定（d=10）において、ℓ2損失で0.06、ℓ1損失で0.08、指数損失で1.13、対数損失で0.22の損失を達成し、標準的な線形回帰を上回った。
• このフレームワークにより、凸損失に対してLoss OIとBregman損失におけるピタゴラス定理との直接的同等性が確立された。
• キャリブレーション済みマルチアキュラシーは、マルチキャリブレーションよりは弱く、マルチアキュラシーよりは強い性質であり、オムニプレディクションにおける効率性と一般性の新たなトレードオフを提供する。
• 理論的解析により、単調関数（例：SIMsからのもの）では、非単調な真の関数に対してはキャリブレーション済みマルチアキュラシーを達成できないことが示され、本手法の必要性が強調された。