[論文レビュー] Learning to Abstain from Binary Prediction

Akshay Balsubramani|arXiv (Cornell University)|Feb 25, 2016

Machine Learning and Algorithms参考文献 7被引用数 8

ひとこと要約

本稿では、誤差最小化と放棄率のバランスをとる半教師あり設定における、予測を避けることができる二値分類器を学習するためのミニマックス最適なアルゴリズムを提案する。凸最適化を用いて、放棄率と誤差率の正確なパレートフロンティアを特徴づけ、あらゆる許容可能な放棄率において性能に理論的保証を伴う、効率的かつスケーラブルな学習を可能にする。

ABSTRACT

A binary classifier capable of abstaining from making a label prediction has two goals in tension: minimizing errors, and avoiding abstaining unnecessarily often. In this work, we exactly characterize the best achievable tradeoff between these two goals in a general semi-supervised setting, given an ensemble of predictors of varying competence as well as unlabeled data on which we wish to predict or abstain. We give an algorithm for learning a classifier in this setting which trades off its errors with abstentions in a minimax optimal manner, is as efficient as linear learning and prediction, and is demonstrably practical. Our analysis extends to a large class of loss functions and other scenarios, including ensembles comprised of specialists that can themselves abstain.

研究の動機と目的

• 予測拒否を伴う二値分類における、放棄率と誤差率の正確なトレードオフを同定すること。
• このトレードオフにおいてミニマックス最適性能を達成する、効率的でスケーラブルなアルゴリズムを開発すること。
• 半教師あり学習フレームワークにおいて、ラベルなしデータとアンサンブル予測子を統合することで、既存の理論を拡張すること。
• コストベースの拒否とレート制約付き拒否の2つの主流の放棄モデルを、統一的な最適フレームワークの下に統合すること。
• 理論的保証を伴う、凸最適化に基づく実用的で実装可能な放棄分類器の学習手法を提供すること。

提案手法

• 本手法は、分類器重みσに関する凸最適化として学習問題を定式化し、誤差と放棄のバランスを取るスラック関数γ(σ, λ)を最小化する。
• L1正則化を用いてミニマックス最適性を強制し、双対変数を介して制約付き問題を非制約問題に再定式化する。
• アルゴリズムはラベル付きデータを用いて予測子の能力を推定し、ラベルなしデータを用いて放棄意思決定をガイドすることで、半教師あり学習を実現する。
• マージンスコアに基づくソフトな放棄領域を導入し、最大マージンSVMとは対照的に、不確実性に対するヘッジを促進する。
• 各特徴量が無効（値が0）の際に放棄する専門家として機能する、特徴レベルの特化をサポートする。
• 本手法は、勾配共役法などの確率的最適化と交差検証を用いて正則化をチューニングすることで実装され、スケーラビリティと実用性を確保する。

実験結果

リサーチクエスチョン

• RQ1 アンサンブル予測子とラベルなしデータを用いた半教師あり設定において、放棄率と誤差率の正確なパレートフロンティアは何か？
• RQ2 ヒューリスティクスに依存せずに、放棄と誤差の間でミニマックス最適なトレードオフを達成できる分類器を学習できるか？
• RQ3 提案手法の性能は、マージンしきい値を用いたSVMやダブルヘッジ損失といった標準的ベースラインと比べてどうか？
• RQ4 コストベースとレート制約付きの両方の放棄モデルにおいて、フレームワークは最適性を保つのか？
• RQ5 本手法は、バイナリ特徴量を有する現実世界のデータセットに対しても、効率的にスケーリングされ、実用的に適用可能か？

主な発見

• 本稿では、許容可能な放棄率αによってパrameter化された、放棄率と誤差率の正確なパレートフロンティアを確立した。これはミニマックス最適性の下では改善不能である。
• 最適分類器は凸最適化により導出され、解は正則化スラック関数γ(σ, λ) + ε‖σ‖₁の最小化として表現される。
• あらゆる放棄率においてミニマックス最適性を達成し、経験的リスク最小化や標準ベースラインを上回る理論的保証を有する。
• 実験的結果では、SVMやダブルヘッジベースラインと同等の性能を示し、一部のデータセット（例：mushroomでc=0.2の「Spec」バージョンでは0.00 vs. 0.003の放棄損失）においては優れた性能を発揮した。
• 特徴量を専門家として用いることで性能がわずかに向上し、構造化された放棄メカニズムの有効性を示唆した。
• フレームワークはスケーラブルで解釈可能であり、最適解のマージンに基づく構造のおかげで、カスケードやアクティブラーニングへの応用が可能である。