[論文レビュー] Classification with Valid and Adaptive Coverage

Yaniv Romano, Matteo Sesia+1 more|arXiv (Cornell University)|Jun 3, 2020

Machine Learning and Data Classification参考文献 4被引用数 24

ひとこと要約

本稿では、有限標本におけるマージナルカバレッジを保証するとともに、条件付きカバレッジを段階的に向上させる、マルチクラス分類のための新しいコンフォーマル推論手法を提案する。クラス確率の順位に基づく特化された適合性スコアを導入することで、任意のブラックボックス分類器と組み合わせられ、予測集合のサイズと条件付きカバレッジの両面で既存手法を上回る。特に、ニューラルネットワークのような良好にキャリブレーションされたモデルにおいて顕著な性能向上を示す。

ABSTRACT

Conformal inference, cross-validation+, and the jackknife+ are hold-out methods that can be combined with virtually any machine learning algorithm to construct prediction sets with guaranteed marginal coverage. In this paper, we develop specialized versions of these techniques for categorical and unordered response labels that, in addition to providing marginal coverage, are also fully adaptive to complex data distributions, in the sense that they perform favorably in terms of approximate conditional coverage compared to alternative methods. The heart of our contribution is a novel conformity score, which we explicitly demonstrate to be powerful and intuitive for classification problems, but whose underlying principle is potentially far more general. Experiments on synthetic and real data demonstrate the practical value of our theoretical guarantees, as well as the statistical advantages of the proposed methods over the existing alternatives.

研究の動機と目的

• マルチクラス問題における有限標本におけるマージナルカバレッジを保証する分類手法の開発。
• クロスバリデーション+ やジャックナイーフ+ などの既存のホールドアウト手法と比較して、条件付きカバレッジ性能の向上。
• ニューラルネットワークやランダムフォレストを含む、任意のブラックボックス分類器と互換性を持つ柔軟なフレームワークの構築。
• 統計的妥当性を維持しつつ、予測集合を可能な限り小さくすること。
• 合成データおよび実世界のデータ上での手法の実証的妥当性の検証、特に MNIST における性能。

提案手法

• クラス確率の順位に基づく、分類に直感的かつ強力な新しい適合性スコアの導入。
• 新しい適合性スコアを用いて、コンフォーマル推論、クロスバリデーション+、ジャックナイーフ+ を分類問題に適応。
• 条件付きカバレッジ下での最適なサイズを達成するため、一般化逆関数を用いて確率的予測集合を構築。
• ホールドアウト手順（例：CV+、ジャックナイーフ+）を用いて、保証されたマージナルカバレッジで予測集合をキャリブレーション。
• データ分割戦略を実装し、妥当性の実証的検証と条件付きカバレッジの評価を実施。
• 決定論的および確率的予測集合の両方をサポートし、カバレッジ制約下でサイズを最小化。

実験結果

リサーチクエスチョン

• RQ1 マルチクラス分類のためのコンフォーマル推論手法を設計でき、有限標本におけるマージナルカバレッジを保証できるか？
• RQ2 このような手法を、複雑なデータ分布に適応させ、条件付きカバレッジを向上させられるか？
• RQ3 新しい適合性スコアが、既存手法と比較して予測集合のサイズと条件付きパフォーマンスを改善できるか？
• RQ4 ニューラルネットワークやランダムフォレストを含む多様な分類器において、手法の妥当性が保たれるか？
• RQ5 予測集合のサイズと条件付きカバレッジの面で、オラクルレベルのパフォーマンスにどの程度近づけるか？

主な発見

• MNISTデータでは、ニューラルネットワークモデルを用いた際、提案手法が90％に近い条件付きカバレッジを達成し、CQC-RF や HCC を上回った。
• ランダムフォレストを用いた場合、すべての手法がカバレッジ不足を示し、確率のキャリブレーションが不十分であることが示されたが、提案手法は依然として有効なマージナルカバレッジを維持した。
• ニューラルネットワークを用いた際、提案手法はCQC-RF や HCC と同等の予測集合サイズを実現しながら、より優れた条件付きカバレッジを達成した。
• CV+ は強力な条件付きカバレッジを示した一方、SC はわずかに劣るが、HCC、CQC、CQC-RF とは異なり、90％に達しない結果となった。
• 手法のパフォーマンスは異なるベースモデルに対して頑健であり、クラス確率が良好にキャリブレーションされている場合には、条件付きカバレッジの向上が顕著に見られた。
• GitHub リポジトリ https://github.com/msesia/arc に実装された Python パッケージにより、すべての実験の再現性が可能である。