[論文レビュー] Active Nearest-Neighbor Learning in Metric Spaces

Aryeh Kontorovich, Sivan Sabato+1 more|arXiv (Cornell University)|May 22, 2016

Machine Learning and Algorithms参考文献 34被引用数 12

ひとこと要約

この論文は、一般の距離空間を対象とするプールベースのアクティブラーニングアルゴリズムMARMANNを提案する。MARMANNは、任意のパッシブラーナーよりも顕著に低いラベル複雑性を達成しながら、最先端のパッシブ手法と同等の誤差保証を維持する最近傍分類器を出力する。本手法は、補助情報を利用した新しいラベル効率の良いモデル選択手順を用い、最小限のアクティブクエリでマージンスケールを適応的に選択することで、顕著なラベル節約を実現する。

ABSTRACT

We propose a pool-based non-parametric active learning algorithm for general metric spaces, called MArgin Regularized Metric Active Nearest Neighbor (MARMANN), which outputs a nearest-neighbor classifier. We give prediction error guarantees that depend on the noisy-margin properties of the input sample, and are competitive with those obtained by previously proposed passive learners. We prove that the label complexity of MARMANN is significantly lower than that of any passive learner with similar error guarantees. MARMANN is based on a generalized sample compression scheme, and a new label-efficient active model-selection procedure.

研究の動機と目的

• 一般の距離空間を対象とする非パラメトリックなアクティブラーニングアルゴリズムを構築し、パッシブラーナーと比較して顕著に低いラベル複雑性を達成しながら、競争力のある予測誤差を実現すること。
• クロスバリデーションや網羅的なスケールテストに伴う高いラベルコストを回避する、ラベル効率の良いモデル選択手順を設計すること。
• 最終的に選択されたスケールにのみ依存する誤差とラベル複雑性に関する理論的保証を確立すること。これは、最悪ケースのシナリオに依存しない。
• MARMANNのラベル複雑性が、類似した誤差性能を示す任意のパッシブラーナーよりも厳密に低いことを示し、新しい下界を用いて証明すること。

提案手法

• MARMANNは、補助情報を用いた一般化されたサンプル圧縮スキームを用い、誤差を推定し、最適なマージンスケールを効率的に選択する。
• 各スケールに対して必要なラベル数を最小限に抑える新しいアクティブモデル選択手順を導入し、完全なクロスバリデーションの必要性を回避する。
• 距離空間におけるtネットに基づく圧縮セットを用いて、1-最近傍分類器を構築することで、計算効率を確保する。
• 補助情報付きのサンプル圧縮の一般化誤差境界を活用し、ノイズのあるマージン仮定の下で統計的誤差保証を導出する。
• 有望な候補に限定して最小限のラベル情報で一般化誤差を推定することで、動的に最良のマージンスケールを選択する。
• 理論的分析では、アクティブラーニングにおける「無料の特典なし」型の結果と、新しいパッシブラーニングのラベル複雑性下界を用い、最適性を確立する。

実験結果

リサーチクエスチョン

• RQ1 一般の距離空間における非パラメトリック最近傍分類器に対して、分布的仮定なしにアクティブラーニングが顕著にラベル複雑性を低減できるか？
• RQ2 最近傍学習のためのモデル選択手順を設計可能か。ただし、高いラベルコストを回避しつつ、強い誤差保証を維持できるようにする。
• RQ3 MARMANNのラベル複雑性は、類似した誤差性能を示すパッシブラーナーと比較してどのように異なるか？
• RQ4 距離空間における最近傍学習の文脈で、パッシブおよびアクティブラーニングの両方に対する理論的下界を確立可能か？
• RQ5 提案手法はベイズ一貫性を達成するか、それともベイズ誤差の定数倍近似を達成するか？

主な発見

• MARMANNは、Gottliebら（2017）のパッシブラーナーの誤差の定数倍（30C）で誤差保証を達成するが、C ≤ 1/240である。
• MARMANNのラベル複雑性は、類似した誤差保証を持つ任意のパッシブラーナーのそれよりも、理論的に低いことが示された（新しいパッシブ下界、定理5）。
• 確率1/14以上で、MARMANNはN/2未満のラベルをクエリする。この上限は、与えられた仮定のもとでタイトである。
• アクティブラーニングのラベル複雑性下界（定理6）により、非自明な領域では、MARMANNより顕著に少ないラベルで同じ誤差保証を達成できるアクティブラーナーは存在しないことが示された。
• 未知の分布依存量を含まず、有限サンプルにのみ依存する完全に経験的な誤差推定を提供する。
• 新しい補助情報付きのサンプル圧縮フレームワークを用いて理論的保証を導出し、効率的かつ低ラベルのモデル選択を可能にする。