[論文レビュー] Conformal Risk Control

Anastasios N. Angelopoulos, Stephen Bates+3 more|arXiv (Cornell University)|Aug 4, 2022

Statistical Methods in Clinical Trials被引用数 25

ひとこと要約

単純損失の任意の期待リスクを保証するように conformal prediction を拡張し、いくつかの分布シフト・拡張バリアントと実用的な NLP/CV の例を追加する。

ABSTRACT

We extend conformal prediction to control the expected value of any monotone loss function. The algorithm generalizes split conformal prediction together with its coverage guarantee. Like conformal prediction, the conformal risk control procedure is tight up to an $\mathcal{O}(1/n)$ factor. We also introduce extensions of the idea to distribution shift, quantile risk control, multiple and adversarial risk control, and expectations of U-statistics. Worked examples from computer vision and natural language processing demonstrate the usage of our algorithm to bound the false negative rate, graph distance, and token-level F1-score.

研究の動機と目的

• モデルの後処理出力に対して統計的保証を提供することで、安全なデプロイを促進する。
• ミスカバレージだけでなく、単調損失の期待値を境界づけるように conformal prediction を一般化する。
• 有限サンプル保証を伴う実用的で厳密なリスクコントロールアルゴリズムを開発する。
• 分布シフト、分位リスク、複数リスク・対抗リスク、および U-statistics への拡張を探る。

提案手法

• パラメータ化された保守的出力の族 C_lambda を介してモデル予測を後処理し、非増加損失 L_i(lambda) を取る。
• 経験的リスク R_hat_n(lambda) を校正データ上の L_i(lambda) の平均として定義し、リスク制約の下限条件 (n/(n+1)) R_hat_n(lambda) + (B/(n+1)) <= alpha を満たす lambda_hat を選択する。
• 単調で右連続、範囲が有界な損失の下で、選択した lambda_hat が期待リスク E[ L_{n+1}(lambda_hat) ] <= alpha をもたらすことを証明する。
• 緩やかな仮定の下で、リスク境界が 2B/(n+1) まで厳密であることを示し、単調性の要件について論じる。
• 損失がミスカバレージ指標の場合、 conformal risk control を標準の conformal prediction に関連づけ、非単調損失の制約を議論する。
• 分布シフト、分位リスク、複数リスク、対抗的リスク、Uリスクコントロールへの拡張を提供する。

実験結果

リサーチクエスチョン

• RQ1 ミスカバレージを超える単調損失の期待リスクを保証するように、 conformal prediction をどのように一般化できるか。
• RQ2 リスク保証の厳密性はどの程度か、どの条件で手法が成立するかまたは失敗するか。
• RQ3 分布シフト、分位リスク、複数リスク、対抗的設定への拡張方法は。
• RQ4 実践上、 conformal risk control は古典的な conformal prediction とどのように関連し、どのように異なるか。
• RQ5 CV/NLP の実世界の実用タスクで、非二値損失に対して効果的なリスクコントロールを実証できるか。

主な発見

• 提案された conformal risk control は、任意の有界な単調損失関数に対して、新しい点での期待損失が最大でも alpha になることを保証する。
• リスクコントロール境界は O(1/n) 因子まで厳密であり、改善の限界を示す導出された下限がある。
• 損失がミスカバレージ指標である場合、標準的な conformal prediction を含む。
• 拡張は、分布シフト、分位リスク、複数リスク、対戦的摂動、および U-統計量下でのリスクコントロールを可能にする。
• 腫瘍セグメンテーション、マルチラベル分類、階層的画像分類、およびオープン ドメイン QA にまたがる実例は、FNR、グラフ距離、トークンレベルの F1 スコアを制御することを示している。