[論文レビュー] Active model selection

Omid Madani, Daniel J. Lizotte+1 more|arXiv (Cornell University)|Jul 7, 2004

Machine Learning and Algorithms参考文献 19被引用数 51

ひとこと要約

本稿では、学習者が固定されたプローブ予算を用いて逐次的にモデルを評価し、予想される正確性が最も高いモデルを特定する、アクティブモデル選択フレームワークを提案する。問題はNP困難として形式化され、バイアス付きロビン、ラウンドロビン、ギッティンズなどのアルゴリズムが評価され、同一のコストと事前分布のもとでバイアス付きロビンが他の手法を顕著に上回ることが示された。

ABSTRACT

Classical learning assumes the learner is given a labeled data sample, from which it learns a model. The field of Active Learning deals with the situation where the learner begins not with a training sample, but instead with resources that it can use to obtain information to help identify the optimal model. To better understand this task, this paper presents and analyses the simplified (budgeted) active selection version, which captures the pure exploration aspect of many active learning problems in a clean and simple problem formulation. Here the learner can use a fixed budget of model probes (where each probe evaluates the specified on a random indistinguishable instance) to identify which of a given set of possible models has the highest expected accuracy. Our goal is a policy that sequentially determines which to probe next, based on the information observed so far. We present a formal description of this task, and show that it is NP-hard in general. We then investigate a number of algorithms for this task, including several existing ones (eg, Round-Robin, Interval Estimation, Gittins) as well as some novel ones (e.g., Biased-Robin), describing first their approximation properties and then their empirical performance on various problem instances. We observe empirically that the simple biased-robin algorithm significantly outperforms the other algorithms in the case of identical costs and priors.

研究の動機と目的

• 固定されたプローブ予算のもとでアクティブモデル選択を逐次的意思決定問題として形式化すること。
• 制限されたプローブを用いた最適なモデルの同定における計算複雑性を分析すること。
• 予算制約下での既存および新規のアルゴリズムの評価と比較を行うこと。
• 同一のコストと事前分布のもとで、どのアルゴリズムが最高の期待正確性を達成するかを特定すること。

提案手法

• 学習者は固定されたプローブ予算を用い、ランダムに選ばれたインスタンスを問い合わせることで、モデルの正確性を推定する。
• 問題は、観測された結果に基づいて次のプローブを決定するという逐次的意思決定プロセスとして形式化される。
• ラウンドロビン、区間推定、ギッティンズ、および新規のバイアス付きロビンといったアルゴリズムが実装され、比較された。
• バイアス付きロビンは、推定された正確性と不確実性に基づいてモデルを優先順位付けし、高い潜在的報酬を持つモデルを優遇する。
• フレームワークでは、モデルがi.i.d.なインスタンス上で評価され、プローブはノイズがあるが不偏な正確性推定値を提供すると仮定する。
• 理論的分析により、問題がNP困難であることが示され、ヒューリスティックおよび近似アルゴリズムの使用が正当化される。

実験結果

リサーチクエスチョン

• RQ1 固定されたプローブ予算のもとでのアクティブモデル選択の計算複雑性は何か？
• RQ2 ラウンドロビン、ギッティンズ、バイアス付きロビンなどの異なるプローブ戦略は、最良のモデルを同定する際にどのように比較されるか？
• RQ3 コストと事前分布が同一の場合、バイアス付きロビンは既存の手法を上回るか？
• RQ4 提案されたアルゴリズムはどのような近似特性を示すか？
• RQ5 異なるモデル集合およびプローブ予算において、実験的性能はどのように変化するか？

主な発見

• 固定されたプローブ予算を伴うアクティブモデル選択問題は、形式的にNP困難であることが証明された。
• バイアス付きロビンは、同一のコストと事前分布のもとで、ラウンドロビン、区間推定、ギッティンズを実験的に顕著に上回った。
• バイアス付きロビンは、動的優先順位付けにより、探索と活用のバランスを取ることで優れた性能を達成した。
• バイアス付きロビンと他のアルゴリズムとの性能差は、モデルの不確実性が高く、プローブが限られている状況で最も顕著に現れた。
• ギッティンズや区間推定といった既存のアルゴリズムは、理論的基盤が強くても、テストされた設定では実験的に劣っていた。
• 結果から、バイアス付きロビンのような単純なヒューリスティックベースのポリシーが、実用的なアクティブモデル選択において、複雑な理論的基盤を持つ代替手法よりも効果的である可能性が示唆された。