[論文レビュー] Diameter-Based Active Learning

Christopher Tosh, Sanjoy Dasgupta|arXiv (Cornell University)|Feb 27, 2017

Machine Learning and Algorithms参考文献 21被引用数 8

ひとこと要約

本稿では、サンプルされた仮説の平均対間距離を用いて情報量の多いクエリを選択する、効率的なアクティブラーニング手法であるDiameter-Based Active Learning (DBAL) を提案する。DBAL は分割インデックスの観点から理論的下界に近いラベル複雑性を達成しており、線形分離器およびスパース論理和の分野で、既存手法と同等またはそれを上回る実験的性能を示している。

ABSTRACT

To date, the tightest upper and lower-bounds for the active learning of general concept classes have been in terms of a parameter of the learning problem called the splitting index. We provide, for the first time, an efficient algorithm that is able to realize this upper bound, and we empirically demonstrate its good performance.

研究の動機と目的

• 計算的に非現実的な手法でのみ達成可能であった、理論的ラベル複雑性の下界に近い性能を達成できる、効率的なアクティブラーニングアルゴリズムの開発。
• アクティブラーニングにおける難しい測度であるバージョンスペース直径の計算を困難にしている課題に対し、平均対間距離を用いた新たな指標を導入。
• 非現実的である直径計算を、サンプリングに基づく近似に置き換えることで、積極的ラーニング戦略の実用的導入を可能にする。
• 新しい手法が、標準的なサンプリング技術で実装可能である一方で、強力な理論的保証を維持していることを確認する。
• 線形分離器およびスパース単調論理和の両方の分野で、実験的に本手法の有効性を検証し、ベースラインのアクティブラーニング手法と比較して優れた性能を示す。

提案手法

• 事前分布 π が現在のバージョンスペースに制限されたもとで、サンプリングされた仮説間の平均対間距離を新たなバージョンスペースサイズの指標として定義する。
• クエリ後の平均直径を、サンプルされた仮説の正例および負例のグループ内平均距離の最大値として推定する。
• この推定直径を最小化するクエリ点 x を選択することで、バージョンスペースの不確実性を最大限に低減する。
• 事前分布を現在のバージョンスペースに制限したサンプリングを、マルコフ連鎖モンテカルロ法（例：ヒットアンドラン）を用いて近似する。
• ホフディングの不等式および濃度バインディングを用いて、推定直径が高確率で真の期待値に収束することを保証する。
• アルゴリズムのラベル複雑性が、元の分割インデックスの log(1/ε) 倍の要因で有界であることを証明し、理論的最適性を保つ。

実験結果

リサーチクエスチョン

• RQ1 理論的下界（分割インデックスに基づく）に近いラベル複雑性を達成できる実用的アクティブラーニング手法は存在するか？
• RQ2 サンプルされた仮説間の平均対間距離は、アクティブラーニングにおけるバージョンスペース直径の代替指標として実用的かつ効率的であるか？
• RQ3 非現実的である直径計算を、理論的保証を損なわずに、サンプリングに基づく推定に置き換えることは可能か？
• RQ4 本手法は、パassingラーニングおよび CAL や QBC といった他のアクティブラーニングベースラインと比較して、実験的にどのように性能を発揮するか？
• RQ5 線形分離器やスパース論理和といった異なる仮説クラスにおいて、本アルゴリズムは強力な一般化性能を維持するか？

主な発見

• DBAL は、最適な分割インデックスの下界に log(1/ε) 要因の範囲内で到達し、理論的上界に小さな対数的要因の差異で一致する。
• 均一な線形分離器において、DBAL はパassingラーニング、CAL、QBC よりもクエリ数を大幅に減らしながらバージョンスペース直径を効果的に縮小する。
• k-スパース単調論理和において、DBAL は次元数やスパース度が変化しても一貫して優れた性能を示す。
• サンプリングに基づく直径推定器は、真のバージョンスペースサイズの安定的かつ正確な近似を提供し、効率的なクエリ選択を可能にする。
• シミュレーションで、バージョンスペースからの正確なサンプリングが不可能であっても、ヒットアンドラン MCMC を用いることで本アルゴリズムは依然として有効であることが示された。
• 理論的分析により、1クエリあたりの期待される直径の減少が、分割インデックスに依存する要因で有界であることが確認され、誤差が低い分類器への収束が速いことが保証された。