[論文レビュー] Conformal Prediction Sets with Limited False Positives

Adam Fisch, Tal Schuster+2 more|arXiv (Cornell University)|Feb 15, 2022

Machine Learning and Data Classification被引用数 4

ひとこと要約

本稿では、多ラベル予測集合における誤検出数を制限するためのコンformal予測フレームワークを提案する。k-FP（k制限誤検出）目的を導入することで、各予測集合に高々k個の誤検出が含まれるように保証するとともに、有効なカバレッジを維持する。DeepSetsに基づく集合関数を用いてラベルの順序付けと予測集合の構築を行い、真陽性の回復率を高く保ちつつ誤検出数を制御する。これは、真陽性率が低いか、モデルの分離性が低い状況でも有効である。

ABSTRACT

We develop a new approach to multi-label conformal prediction in which we aim to output a precise set of promising prediction candidates with a bounded number of incorrect answers. Standard conformal prediction provides the ability to adapt to model uncertainty by constructing a calibrated candidate set in place of a single prediction, with guarantees that the set contains the correct answer with high probability. In order to obey this coverage property, however, conformal sets can become inundated with noisy candidates -- which can render them unhelpful in practice. This is particularly relevant to practical applications where there is a limited budget, and the cost (monetary or otherwise) associated with false positives is non-negligible. We propose to trade coverage for a notion of precision by enforcing that the presence of incorrect candidates in the predicted conformal sets (i.e., the total number of false positives) is bounded according to a user-specified tolerance. Subject to this constraint, our algorithm then optimizes for a generalized notion of set coverage (i.e., the true positive rate) that allows for any number of true answers for a given query (including zero). We demonstrate the effectiveness of this approach across a number of classification tasks in natural language processing, computer vision, and computational chemistry.

研究の動機と目的

• 真陽性がまれまたは誤検出と明確に分離できない状況において、多ラベルコンフォーマル予測における誤検出数の制御を困難とする課題に対処すること。
• 有限標本における分布フリーな仮定のもとで、各予測集合に高々k個の誤検出が含まれることを保証するとともに、有効なカバレッジを維持する手法を開発すること。
• 医療診断やドラッグディスカバリなど、誤検出が高コストとなる実世界の応用分野における実用的利便性を向上させること。
• アプリケーション固有のリスク許容度に応じて調整可能な、柔軟なユーザー定義の誤検出数上限（k）を提供すること。
• 信号対雑音比が低い状況下でも、高い真陽性回復率を維持できる、効率的かつスケーラブルなフレームワークを設計すること。

提案手法

• 本手法は、予測集合に高々k個の誤検出が含まれることを制約するk-FP（k制限誤検出）目的を導入する。
• ラベル部分集合の適合度をモデル化するために、DeepSetsに基づく集合関数を用い、ラベル間の相互作用を統合的に考慮する。
• アルゴリズムは、推定された周辺適合度スコアpθ(y_c ∈ Z|x)に基づいて候補集合を順序付け、k-FP制約を満たす最大の集合を選択する。
• 交換可能性のもとで有限標本の有効性と周辺カバレッジを保証する非適合度スコアを用いて、フレームワークをキャリブレーションする。
• 誤検出数の単調性を保証するため、適合度スコアの降順にラベルを段階的に追加することで、ネストされた候補集合を構築する。
• モデルの誤指定に対しても頑健であり、真陽性と誤検出が明確に分離されていない場合でも良好に動作する。

実験結果

リサーチクエスチョン

• RQ1 ユーザーが指定したk個までに誤検出数を制限しつつ、有効なカバレッジを維持できるコンフォーマル予測集合を構築できるか？
• RQ2 真陽性がまれであるか、ベースモデルによって誤検出と正しく順位付けされない状況下で、k-FP目的はどのように機能するか？
• RQ3 DeepSetsに基づく集合関数は、誤検出制約のもとで、ラベル依存性を効果的にモデル化し、予測集合の品質を向上させることができるか？
• RQ4 誤検出率（FDR）に基づく手法と比較して、k-FPアプローチは誤検出制御と真陽性回復率の両面で優れているか？
• RQ5 モデルの信頼度が低い低信号環境下でも、提案手法はスケーラブルかつ効果的か？

主な発見

• 提案されたk-FP手法は、有限標本の有効性と周辺カバレッジを維持しつつ、各予測集合に高々k個の誤検出が含まれることを保証する。
• 自然な真陽性率が低いか、誤検出と明確に分離されていない状況下でも、高い真陽性回復率を達成する。
• FDR制御が失敗する状況（例：1つの真陽性を含めるためにFDR < 0.5を要請）においても、k=1のk-FPアプローチは真陽性を含めることができる。
• DeepSetsに基づく集合関数は、ラベル依存性をモデル化することで性能を向上させ、複雑なラベル構造下では単純な周辺適合度スコア評価を上回る。
• 明示的な誤検出制約のおかげで、ベースモデルが真陽性と誤検出を十分に分離できない場合でも、フレームワークは依然として有効である。
• モデルの不確実性に対しても頑健であり、多様なラベル空間サイズとデータ分布の下で強固な性能を維持する。