[論文レビュー] U-Calibration: Forecasting for an Unknown Agent

Robert Kleinberg, Renato Paes Leme+2 more|arXiv (Cornell University)|Jun 30, 2023

Forecasting Techniques and Applications被引用数 4

ひとこと要約

本稿では、未知のエージェント効用関数を想定した予測の評価のための新しい指標であるUキャリブレーションを導入し、すべてのエージェントが部分線形の後悔を達成するには、Uキャリブレーション誤差が部分線形であることが必要かつ十分であることを示している。著者らは、$O(\sqrt{T})$ のUキャリブレーション誤差を達成するオンラインアルゴリズムを提示しており、これは単一のスコアリングルール最適化における最適レートと一致しており、従来のキャリブレーション手法の遅い収束を回避している。

ABSTRACT

We consider the problem of evaluating forecasts of binary events whose predictions are consumed by rational agents who take an action in response to a prediction, but whose utility is unknown to the forecaster. We show that optimizing forecasts for a single scoring rule (e.g., the Brier score) cannot guarantee low regret for all possible agents. In contrast, forecasts that are well-calibrated guarantee that all agents incur sublinear regret. However, calibration is not a necessary criterion here (it is possible for miscalibrated forecasts to provide good regret guarantees for all possible agents), and calibrated forecasting procedures have provably worse convergence rates than forecasting procedures targeting a single scoring rule. Motivated by this, we present a new metric for evaluating forecasts that we call U-calibration, equal to the maximal regret of the sequence of forecasts when evaluated under any bounded scoring rule. We show that sublinear U-calibration error is a necessary and sufficient condition for all agents to achieve sublinear regret guarantees. We additionally demonstrate how to compute the U-calibration error efficiently and provide an online algorithm that achieves $O(\sqrt{T})$ U-calibration error (on par with optimal rates for optimizing for a single scoring rule, and bypassing lower bounds for the traditionally calibrated learning procedures). Finally, we discuss generalizations to the multiclass prediction setting.

研究の動機と目的

• 既存の予測評価手法が既知のスコアリングルールに依存するか、意思決定理論的根拠を欠くという限界に対処すること。
• すべての合理的なエージェントが、その未知の効用関数に関わらず低後悔を達成することを保証するロバストな評価指標を同定すること。
• 従来のキャリブレーションに基づく手法よりも優れた収束速度を保証する、証明可能な高速な収束レートを有する予測手順を開発すること。
• すべての有界スコアリングルールにおける最悪ケースの後悔を捉える新しい指標であるUキャリブレーションを形式化すること。
• 2値および多クラス設定において、最適な $O(\sqrt{T})$ のUキャリブレーション誤差を達成する効率的なオンラインアルゴリズムを示すこと。

提案手法

• Uキャリブレーションを、任意の有界スコアリングルールにおける予測の最大後悔として定式化し、そのスコアリングルール全体の上界（sup）として定義する。
• すべてのエージェントが、その効用関数に関わらず部分線形の後悔を被るには、Uキャリブレーション誤差が部分線形であることが必要かつ十分であることを示す。
• $O(\sqrt{T})$ のUキャリブレーション誤差を達成するための、Follow-the-Perturbed-Leader（FTPL）アルゴリズムの変種であるBTPLを導入する。
• 離散的な結果系列の上での確率的摂動戦略を用いてベースレート予測をシミュレートし、BTLフレームワーク内でのリーダーとの比較を通じて後悔解析を可能にする。
• ベースレートを調整したBTLの変種とのカップリングによる議論と、ベースレート差の集中限界を用いて、BTPLアルゴリズムの後悔が $O(\sqrt{T})$ で有界であることを証明する。
• 摂動と後悔解析を $K$ クラスの出力に拡張することで、多クラス予測へのフレームワークの一般化を行う。

実験結果

リサーチクエスチョン

• RQ1 未知の効用関数を有するすべての合理的エージェントに対して、部分線形の後悔を保証する単一の予測指標は存在するか？
• RQ2 すべての可能なエージェントに対して低後悔を達成するには、キャリブレーションが必須であるのか？それとも、キャリブレーションが不正確な予測でも、良好な後悔性能を達成できるか？
• RQ3 単一スコアリングルール最適化の収束レートと一致するが、未知のエージェント効用関数に対してロバストな予測評価の収束レートを達成できるか？
• RQ4 すべてのエージェントに対して低後悔を保証する予測手順の最適収束レートは何か？そして、キャリブレーションに依存せずにそれを達成できるか？
• RQ5 逐次予測設定において、すべての有界スコアリングルールにおける最悪ケースの後悔を効率的に計算・最小化する方法は何か？

主な発見

• すべてのエージェントが、その効用関数に関わらず部分線形の後悔を達成するには、Uキャリブレーション誤差が部分線形であることが必要かつ十分である。
• キャリブレーションは低後悔のための必要条件ではない。なぜなら、キャリブレーションが不正確な予測でも、すべてのエージェントに対して良好な後悔保証を達成できるからである。
• 提案されたBTPLアルゴリズムは、$O(\sqrt{T})$ のUキャリブレーション誤差を達成しており、これは単一スコアリングルール最適化の最適レートと一致しており、従来のキャリブレーション手法の遅い収束を改善している。
• BTPLアルゴリズムの $O(\sqrt{T})$ 後悔バウンドはタイトであり、$T$ への依存は最適であるが、多クラス設定における $K$ への依存は未解決のままである。
• 解析により、BTLに基づく予測系列の後悔は非正であることが示され、これは再帰的分解と摂動カップリングを通じて最終的な後悔バウンドの導出を可能にする。
• フレームワークは多クラス予測へ一般化可能であり、同様の摂動およびベースレート調整戦略を用いて、$K$ クラスの出力へ核心的な後悔解析が拡張可能である。