[論文レビュー] An Introduction to Artificial Prediction Markets for Classification

Adrian Barbu, Nathan Lay|arXiv (Cornell University)|Feb 7, 2011

Sports Analytics and Performance参考文献 34被引用数 15

ひとこと要約

本論文は、分類器の予測をマーケットクリアリング機構を用いて統合することで、クラス条件付き確率を推定する、教師あり分類のための新しいオンライン学習フレームワークとしての人工予測市場を導入する。この手法は線形アグリゲーション、ロジスティック回帰、カーネル法を一般化し、合成データおよび実世界のデータセットにおいて最先端の性能を達成しており、AdaBoostよりリンパ節検出率で1.6%の向上を達成している。

ABSTRACT

Prediction markets are used in real life to predict outcomes of interest such as presidential elections. This paper presents a mathematical theory of artificial prediction markets for supervised learning of conditional probability estimators. The artificial prediction market is a novel method for fusing the prediction information of features or trained classifiers, where the fusion result is the contract price on the possible outcomes. The market can be trained online by updating the participants' budgets using training examples. Inspired by the real prediction markets, the equations that govern the market are derived from simple and reasonable assumptions. Efficient numerical algorithms are presented for solving these equations. The obtained artificial prediction market is shown to be a maximum likelihood estimator. It generalizes linear aggregation, existent in boosting and random forest, as well as logistic regression and some kernel methods. Furthermore, the market mechanism allows the aggregation of specialized classifiers that participate only on specific instances. Experimental comparisons show that the artificial prediction markets often outperform random forest and implicit online learning on synthetic data and real UCI datasets. Moreover, an extensive evaluation for pelvic and abdominal lymph node detection in CT data shows that the prediction market improves adaboost's detection rate from 79.6% to 81.2% at 3 false positives/volume.

研究の動機と目的

• 分類器の予測を人工予測市場を用いて統合する数学的に根拠のあるフレームワークの開発。
• マーケットベースの統合を用いて、オンラインかつ効率的な確率推定を教師あり学習で可能にする。
• ブースティングやランダムフォレストなどの既存のアンサンブル手法を統一的確率的マーケットメカニズム内で一般化すること。
• 特化型分類器を導入し、特徴空間の関連領域でのみ参加させることで、適応的かつ文脈に応じた統合を可能にすること。
• 合成データおよび実世界のデータセットにおいて、予測精度と確率推定の優位性を実証的に検証すること。

提案手法

• マーケットは、契約価格を表す確率単体を用い、各価格は入力特徴量が与えられたもとでのクラスの推定確率に対応する。
• 各マーケット参加者は、予算とベッティング関数で定義され、入力特徴量と現在の価格に基づいて各クラスにどれだけ投資するかを決定する。
• マーケットは公理的仮定から導かれる市場効率性と合理的行動を満たす凸最適化問題によりクリアされ、一貫性が保証される。
• オンライン更新は、トレーニング例に基づいて参加者の予算を調整する重み付き更新ルールを用いて実行され、段階的学習が可能になる。
• 特化型分類器は、その専門分野の領域が関連する場合にのみ参加するように設計され、インスタンスごとに動的かつ部分的な統合が可能になる。
• このフレームワークは多クラス問題へ自然に拡張可能であり、1対多、多対多、決定木を含む多様な分類器の統合をサポートする。

実験結果

リサーチクエスチョン

• RQ1 分類器の予測を信頼できるクラス条件付き確率推定に統合するための、形式的なマーケットメカニズムを導出可能か？
• RQ2 予測精度の観点から、人工予測市場はランダムフォレストやブースティングといった確立されたアンサンブル手法と比較してどのように異なるか？
• RQ3 特定の特徴部分空間でのみ作動する特化型分類器は、性能と確率推定の両方を向上させることができるか？
• RQ4 マーケットベースの統合メカニズムは、ロジスティック回帰や特定のカーネル法といった既知の手法を一般化できるか？
• RQ5 最小限の計算コストで、各例ごとに効率的に更新可能なオンライン学習が可能か？

主な発見

• 人工予測市場は、骨盤および腹部リンパ節検出において、3つの誤検出/ボリュームあたりの検出率が81.2%に達し、AdaBoostの79.6%を1.6%上回った。
• 複数のUCIデータセットにおいて、暗黙的オンライン学習を著しく上回り、劣るケースが一切なかった。
• ベイズ誤差が0から0.5までの合成データセットにおいて、予測精度と確率推定の両面でランダムフォレストを一貫して上回った。
• マーケットは、ブースティングやランダムフォレストにおける線形アグリゲーション、ロジスティック回帰、特定のカーネル法を特別なケースとして一般化している。
• 更新ごとの計算コストが低く抑えられ、リアルタイムでの適応が可能なオンライン学習をサポートする。
• 分類器のサブセットのみが参加する場合でも、意味のある確率推定が得られ、多様体上での効果的な学習が可能になる。