[論文レビュー] Probabilistic supervised learning

Frithjof Gressmann, Franz J. Király+2 more|arXiv (Cornell University)|Jan 2, 2018

Gaussian Processes and Bayesian Inference参考文献 79被引用数 8

ひとこと要約

この論文は、ブラックボックスモデルが点推定ではなく完全な確率分布を予測できるようにし、不確実性を定量化する統合的フレームワークを導入する。予測分布のための確率的バイアス・バリアンス分解やエントロピー形式の予測定式といった新しい理論的知見に加え、確率的ブースティング、バギング、およびskproツールボックスにおける新しいAPIを提供し、出外れ損失推定を用いて頻度的・ベイジアン的・ハイブリッドなモデルを比較可能にする実用的ツールも開発した。

ABSTRACT

Predictive modelling and supervised learning are central to modern data science. With predictions from an ever-expanding number of supervised black-box strategies - e.g., kernel methods, random forests, deep learning aka neural networks - being employed as a basis for decision making processes, it is crucial to understand the statistical uncertainty associated with these predictions. As a general means to approach the issue, we present an overarching framework for black-box prediction strategies that not only predict the target but also their own predictions' uncertainty. Moreover, the framework allows for fair assessment and comparison of disparate prediction strategies. For this, we formally consider strategies capable of predicting full distributions from feature variables, so-called probabilistic supervised learning strategies. Our work draws from prior work including Bayesian statistics, information theory, and modern supervised machine learning, and in a novel synthesis leads to (a) new theoretical insights such as a probabilistic bias-variance decomposition and an entropic formulation of prediction, as well as to (b) new algorithms and meta-algorithms, such as composite prediction strategies, probabilistic boosting and bagging, and a probabilistic predictive independence test. Our black-box formulation also leads (c) to a new modular interface view on probabilistic supervised learning and a modelling workflow API design, which we have implemented in the newly released skpro machine learning toolbox, extending the familiar modelling interface and meta-modelling functionality of sklearn. The skpro package provides interfaces for construction, composition, and tuning of probabilistic supervised learning strategies, together with orchestration features for validation and comparison of any such strategy - be it frequentist, Bayesian, or other.

研究の動機と目的

• ブラックボックス予測戦略を確率分布予測器として扱える一般化されたフレームワークを構築すること。
• 頻度的・ベイジアン的・ハイブリッドな予測戦略を、共通の確率的損失形式を通じて公平に比較・評価できるようにすること。
• sklearnの機能を拡張するモジュラーかつAPI駆動のインターフェースを提供し、確率的モデルの構築・組み合わせ・チューニングを可能にすること。
• 意思決定に使用される現代の機械学習パイプラインにおける不確実性の定量化という重要なニーズに対応すること。

提案手法

• 入力特徴量によってパrameter化された出力の完全な確率分布を出力する予測戦略を形式的に定式化するフレームワークを提案する。
• ログ損失やカーネル差違損失を含む、予測性能を評価するための確率的損失関数を導入する。
• 予測の理論的洞察を得るため、新しい確率的バイアス・バリアンス分解と予測のエントロピー形式を構築する。
• 点推定ではなく予測分布を扱うメタアルゴリズム（例：確率的ブースティング、バギング）を設計する。
• 予測分布における条件付き独立性を評価するための確率的予測独立性検定を導入する。
• オープンソースのskproツールボックスにこのフレームワークを実装し、モデルオchestration、検証、比較を可能にするモジュラーかつsklearn互換のAPIを提供する。

実験結果

リサーチクエスチョン

• RQ1 点推定ではなく完全な確率分布を出力するブラックボックス予測戦略の性能を、形式的に定義し、評価する方法は何か？
• RQ2 古典的なバイアス・バリアンス分解の概念を確率的予測設定に拡張した場合、どのような理論的知見が得られるか？
• RQ3 深層学習、ランダムフォレスト、ベイジアンモデルなどの多様な予測戦略を、統一された確率的フレームワーク内で公平に比較するにはどうすればよいか？
• RQ4 予測分布の形状仮定（例：正規分布、ラプラス分布、一様分布）がモデル性能に与える影響は何か？
• RQ5 確率的予測に基づくメタアルゴリズム（例：ブースティング、バギング）を設計することで、不確実性のキャリブレーションを向上させることは可能か？

主な発見

• 提案されたフレームワークにより、適切なスコアリングルールと損失関数を用いて、任意の確率的予測戦略を出外れで公平に比較可能である。
• ラプラス分布または正規分布の予測分布形状を仮定することで、一様分布やナイーブなベースラインよりも著しく性能が向上し、実世界のデータセットではラプラス分布が正規分布を上回ることが多い。
• 残差に基づく複合戦略（例：ResidualEstimator）は、分散予測が適切にキャリブレートされていない場合でも、完全なガウス過程回帰よりも一貫して優れた性能を示す。
• sklearnに実装された完全なガウス過程回帰推定器（GaussianProcessRegressor）は、真の予測後方分布ではなく、平均予測子の後方分布からの分散を返している可能性が高く、その結果、性能が著しく劣ることがある。
• skproツールボックスは、sklearnのインターフェースを確率的モデリングに対応させる形で成功裏に拡張し、組み込みの検証および比較ワークフローを備えたモジュラーな構築・組み合わせ・チューニングが可能になった。