[論文レビュー] Knowing what you know: valid confidence sets in multiclass and multilabel prediction.

Maxime Cauchois, Suyash Gupta+1 more|arXiv (Cornell University)|Apr 21, 2020

Machine Learning and Data Classification被引用数 9

ひとこと要約

本稿では、分布の仮定なしに、マージナルかつ漸近的に最適な条件付きカバレッジを保証する、マルチクラスおよびマルチラベル分類のためのコンフォーマル予測手法を提案する。分位数回帰の知見と木構造の分類器を統合することで、ラベル同士の相互作用を効率的に扱い、高次元のラベル空間へもスケーリング可能である有効な信頼集合を保証する。

ABSTRACT

We develop conformal prediction methods for constructing valid predictive confidence sets in multiclass and multilabel problems without assumptions on the data generating distribution. A challenge here is that typical conformal prediction methods---which give marginal validity (coverage) guarantees---provide uneven coverage, in that they address easy examples at the expense of essentially ignoring difficult examples. By leveraging ideas from quantile regression, we build methods that always guarantee correct coverage but additionally provide (asymptotically optimal) conditional coverage for both multiclass and multilabel prediction problems. To address the potential challenge of exponentially large confidence sets in multilabel prediction, we build tree-structured classifiers that efficiently account for interactions between labels. Our methods can be bolted on top of any classification model---neural network, random forest, boosted tree---to guarantee its validity. We also provide an empirical evaluation, simultaneously providing new validation methods, that suggests the more robust coverage of our confidence sets.

研究の動機と目的

• コンフォーマル予測における不均一なカバレッジ問題に対処すること。特に、マルチクラスおよびマルチラベル問題において、簡単な例が難しい例よりも優先的に保護される現象を解消する。
• マルチクラスおよびマルチラベル設定の両方において、有効なマージナルカバレッジを保証するとともに、漸近的に最適な条件付きカバレッジを達成する手法を開発すること。
• マルチラベル予測におけるラベル組み合わせの指数的増加に対処するため、ラベル相互作用をモデル化する木構造の分類器を用いて、信頼集合の効率的管理を実現すること。
• 任意の既存の分類モデル（ニューラルネットワーク、ランダムフォレスト、ブースティング木など）に対して、ベースラーナーを変更せずに統合可能なフレームワークを構築すること。
• 提案された信頼集合の頑健性と信頼性を裏付ける新しい検証手法と実証的証拠を提供すること。

提案手法

• 分位数回帰の原則を活用して、例の難易度に応じて適応する条件付きカバレッジを保証する信頼集合のキャリブレーションを実施する。
• マージナルな有効性を維持しつつ、難易度の異なる例間でカバレッジの一貫性を向上させるコンフォーマル予測フレームワークを導入する。
• ラベル間の相互作用をモデル化するために木構造の分類器を採用し、マルチラベル予測における計算的・組合せ的負担を軽減する。
• 任意の事前学習済み分類器（深層ニューラルネットワークやアンサンブルモデルを含む）と統合可能な、モデルに依存しない手法を設計する。
• マルチラベル設定に特化した非共形性スコア関数を用い、有効な信頼集合の効率的構築を可能にする。
• データ生成プロセスに対する仮定を最小限に抑えたキャリブレーション手順を適用する。

実験結果

リサーチクエスチョン

• RQ1 分布の仮定なしに、コンフォーマル予測手法がマルチクラスおよびマルチラベル分類においてマージナルおよび条件付き有効性を両立させられるか？
• RQ2 簡単な例が難しい例よりも高い保護を受けるような不均一なカバレッジを回避するには、いかに信頼集合を構築すればよいか？
• RQ3 マルチラベル予測におけるラベル組み合わせの指数的増加に対処する効率的な方法は何か？ ただし、有効性は維持する。
• RQ4 提案手法は、再学習を伴わず、ニューラルネットワークやランダムフォレストなどの既存モデルとどの程度統合可能か？
• RQ5 標準的なコンフォーマル予測と比較して、提案手法の実証的性能（カバレッジと集合サイズの観点）はどの程度か？

主な発見

• 提案手法は、マルチクラスおよびマルチラベル問題の両方において、有効なマージナルカバレッジを保証するとともに、漸近的に最適な条件付きカバレッジを達成する。
• 分位数回帰にインspiredされたキャリブレーションにより、難易度の異なる例間でよりバランスの取れたカバレッジが実現される。
• 木構造の分類器は、ラベル依存性をモデル化することで、マルチラベル問題における信頼集合のサイズを効果的に削減する。
• 任意の分類モデルに対して、元のモデルの予測を保持したまま有効性を追加する、汎用的なポストプロセッシング手順としての適用が可能である。
• 実証的評価では、標準的手法が失敗する場合でも、特に難しい例においても提案された信頼集合が頑健にカバレッジを維持することが示された。
• 本稿で導入された新しい検証手法により、多様な設定において提案された信頼集合の信頼性と一貫性が裏付けられた。