[論文レビュー] Active Learning Using Smooth Relative Regret Approximations with Applications

Nir Ailon, Ron Begleiter+1 more|arXiv (Cornell University)|Oct 10, 2011

Machine Learning and Algorithms参考文献 66被引用数 11

ひとこと要約

本稿では、バイアス付きサンプリングを用いて仮説とピボット仮説間の相対的後悔を推定することで、クエリ効率の高い学習を可能にする、新しいアクティブラーニングフレームワークであるSmooth Relative Regret Approximation (SRRA) を導入する。従来の不一致係数に基づく手法が失敗する、ペairワイズな好みからの順序付け学習および半教師付きクラスタリングといった問題において、ℓ₁不一致距離のε倍以内の均一な推定精度を保証することで、優れたラベル複雑性の上限を達成する。

ABSTRACT

The disagreement coefficient of Hanneke has become a central data independent invariant in proving active learning rates. It has been shown in various ways that a concept class with low complexity together with a bound on the disagreement coefficient at an optimal solution allows active learning rates that are superior to passive learning ones. We present a different tool for pool based active learning which follows from the existence of a certain uniform version of low disagreement coefficient, but is not equivalent to it. In fact, we present two fundamental active learning problems of significant interest for which our approach allows nontrivial active learning bounds. However, any general purpose method relying on the disagreement coefficient bounds only fails to guarantee any useful bounds for these problems. The tool we use is based on the learner's ability to compute an estimator of the difference between the loss of any hypotheses and some fixed "pivotal" hypothesis to within an absolute error of at most $\eps$ times the

研究の動機と目的

• 従来の不一致係数に基づく手法が有用な境界を導けない、ペアワイズな好みからの順序付け学習と補助情報付きクラスタリングといった、根本的なアクティブラーニング問題に対処すること。
• 不一致係数の制限に依存しない、これらの問題に対して証明可能な低いラベル複雑性を達成する新しい理論的枠組みを構築すること。
• 均一な相対的後悔推定とアクティブラーニングにおける高速収束の間の関係を、新しいツールであるSmooth Relative Regret Approximation (SRRA) を用いて確立すること。
• VC次元と幾何的構造が有界な問題において、不一致係数分析が失敗する場合でも、SRRAに基づくアルゴリズムが近似的に最適なクエリ複雑性を達成できることを示すこと。
• 特徴ベースの表現を順序付け学習に統合し、幾何的知見を活かしたアクティブラーニングを可能にするフレームワークの拡張。

提案手法

• 任意の仮説と固定されたピボット仮説の間の損失差（後悔）を推定する方法としてSRRAを提案し、その誤差が仮説間のℓ₁距離（不一致）のε倍以内に収まるように保証する。
• （ε, μ）-SRRAを、真の相対的後悔をε⋅(dist(ϕ(h), ϕ(h′)) + μ)の範囲内で近似する関数fとして定義し、すべての仮説にわたる均一な推定を保証する。
• 各反復で、現在のピボット仮説に対する推定損失差関数を最小化する仮説を選択する逐次的アクティブラーニングアルゴリズムを設計する。
• 特徴ベクトルとモデルパラメータの有界性を活用して、重要度重み付きサンプリング技術を用いてSRRA推定器を効率的に構築する。
• SRRAの条件下では、アルゴリズムが各反復で超過リスクを定数倍に削減でき、(1+O(ε))ν + O(ε^i)⋅初期誤差に収束することを証明する。
• SVMRankと補助情報付きクラスタリングにこのフレームワークを適用し、多項式時間アルゴリズムがO(n⋅poly(log n, ε⁻¹))のクエリで(1+ε)-近似解を達成できることを示す。

実験結果

リサーチクエスチョン

• RQ1 不一致係数が失敗する問題において、順序付け学習と半教師付きクラスタリングの両方に対して非自明なラベル複雑性境界を提供する新しいアクティブラーニングフレームワークを開発可能か？
• RQ2 SRRAによる相対的後悔の均一な推定は、単に不一致係数に基づく境界に依存する従来の手法よりも、収束を速くし、クエリ複雑性を低くできるか？
• RQ3 関係的または同値に基づく出力を持つ問題において、SRRA推定器を効率的に構築可能となる仮説クラスおよびデータ構造の条件は何か？
• RQ4 特徴ベクトルからの幾何的情報は、SRRAフレームワークにどのように統合され、順序付けタスクにおけるアクティブラーニングを改善できるか？
• RQ5 SRRAフレームワークは、階層的クラスタリングやメトリクス学習などの他の関係学習問題へ拡張可能か？その場合、クエリ効率が向上するか？

主な発見

• VC次元と不一致係数に関するやや弱い仮定の下で、SRRAフレームワークは(1+O(ε))ν + O(ε^i)⋅初期誤差に収束するアクティブラーニングアルゴリズムを実現する。ここでνは最適誤差である。
• ペアワイズな好みからの順序付け学習において、本手法はO(n⋅poly(log n, ε⁻¹))の好みクエリで(1+ε)-近似解を達成し、先行研究の境界を著しく改善する。
• 有界な同値クラスを有する半教師付きクラスタリングにおいて、不一致係数に基づく解析が失敗する状況でも、SRRAベースのアルゴリズムが非自明なラベル複雑性境界を提供する。
• 特徴と重みのノルムが有界な条件下で重要度サンプリングを用いてε-SRRA推定器を構築することで、SVMRankにおいて近似的に最適な解を多項式時間で計算可能である。
• バージョン空間の縮小に依存しないため、仮説空間推定における計算誤差に対してもロバストである。
• 本稿では、不一致係数に基づく解析の根本的限界を特定している：順序付け学習と補助情報付きクラスタリングでは有用な境界を導けないが、SRRAはこれを克服する。