[論文レビュー] Making learning more transparent using conformalized performance prediction

Matthew J. Holland|arXiv (Cornell University)|Jul 9, 2020

Machine Learning and Algorithms参考文献 19被引用数 4

ひとこと要約

本稿では、未知のデータに対する機械学習アルゴリズムの有効性を保証する、妥当でキャリブレーションがとられ、透明性のある性能保証を提供する、新しいフレームワークであるコンフォーマル・パフォーマンス予測（CPP）を紹介する。アルゴリズム自体をその将来の性能を予測する予測器として扱うことで、交換可能性と非適合スコアを用いて、最小限の仮定のもとで有限標本の妥当性とキャリブレーションを保証する。

ABSTRACT

In this work, we study some novel applications of conformal inference techniques to the problem of providing machine learning procedures with more transparent, accurate, and practical performance guarantees. We provide a natural extension of the traditional conformal prediction framework, done in such a way that we can make valid and well-calibrated predictive statements about the future performance of arbitrary learning algorithms, when passed an as-yet unseen training set. In addition, we include some nascent empirical examples to illustrate potential applications.

研究の動機と目的

• 未知のデータに適用された機械学習アルゴリズムに対して、透明で信頼できる性能保証が不足している問題に対処すること。
• 予測集合の範囲を越えて、学習アルゴリズム自体の期待性能を定量化するように、コンフォーマル予測を拡張すること。
• 最小限の仮定のもとで、アルゴリズム性能に関する有限標本・分布フリーの保証を提供すること。
• 機械学習の専門家でない者にも理解可能な、実用的で解釈可能な性能に関する記述を可能にすること。
• 分類および最適化の分野における実証例を通じて、手法の妥当性とキャリブレーションを示すこと。

提案手法

• 未知のデータにおける学習アルゴリズムの性能を予測するコンフォーマル・パフォーマンス予測（CPP）を、コンフォーマル予測の拡張として提案する。
• 訓練データセットを用いてアルゴリズムを学習させ、別個のキャリブレーションデータセットを用いて、保持されたデータに対するアルゴリズムの損失に基づいた非適合スコアを計算する。
• アルゴリズムの交換可能性と対称性を用いることで、性能予測区間の有限標本の妥当性を保証する。
• 交差検証による損失の分位数を用いて、変動幅を持つ性能予測集合を構築する。
• データ分布やアルゴリズムの挙動に関する異なる仮定に対応するため、Z-freeおよびZ-モodulatedバージョンを採用する。
• 交換可能性のもとで妥当かつキャリブレーションがとれた予測区間を生成するために、キャリブレーションセットを用いたスプリットコンフォーマル推論を用いる。

実験結果

リサーチクエスチョン

• RQ1 コンフォーマル予測を、新しいインスタンスの予測を超えて、学習アルゴリズム自体の性能保証に拡張できるか？
• RQ2 任意の学習アルゴリズムの一般化性能に関する、妥当で有限標本の信頼区間をどのように構築できるか？
• RQ3 データおよびアルゴリズムに関する最小限の仮定のもとで、コンフォーマル・パフォーマンス予測の理論的性質は何か？
• RQ4 分類や最適化などの異なる学習タスクにおいて、この手法は実際どのように動作するか？
• RQ5 この手法は、機械学習の専門家でない者にとっても理解可能な、キャリブレーションがとれた透明な性能記述を生成できるか？

主な発見

• 提案されたコンフォーマル・パフォーマンス予測フレームワークは、有限標本の妥当性を保証しており、真の性能が予測区間内に入る確率は、指定された信頼水準以上である。
• 損失がほとんど確実に異なる場合、この手法は有限標本においても区間が適切にキャリブレーションされる。
• 実証結果から、CPPは線形SVMと非線形SVMの性能を効果的に比較し、信頼性の高い性能区間を提供できることを示している。
• 確率的凸最適化の文脈では、CPPはバッチGDとSGDを効果的に区別し、それぞれのアルゴリズムに対して透明な性能境界を提供している。
• このフレームワークはアルゴリズムの対称性およびデータの交換可能性に対してロバストであり、多様な学習タスクへの広範な適用性を有している。
• 理論的分析により、元のデータ分布が未知であっても、標準的な仮定のもとで、この手法が妥当性とキャリブレーションを維持することが確認された。