[論文レビュー] The Power of Comparisons for Actively Learning Linear Classifiers

Max Hopkins, Daniel M. Kane+1 more|arXiv (Cornell University)|Jul 8, 2019

Machine Learning and Algorithms参考文献 40被引用数 5

ひとこと要約

この論文は、比較クエリ（2つの点のうちどちらがより陽性である可能性が高いかを尋ねる）が、弱い分布的仮定のもとで非同次線形分類器のアクティブラーニングを指数的に効率化できることを示している。比較クエリを用いることで、標準的なPACラーニングとより厳しい信頼性とおそらく有用（RPU）ラーニングモデルの両方が、近似的に最適なサンプルおよびクエリの複雑さを達成でき、ラベルのみの設定における従来の指数的下界を克服する。

ABSTRACT

In the world of big data, large but costly to label datasets dominate many fields. Active learning, a semi-supervised alternative to the standard PAC-learning model, was introduced to explore whether adaptive labeling could learn concepts with exponentially fewer labeled samples. While previous results show that active learning performs no better than its supervised alternative for important concept classes such as linear separators, we show that by adding weak distributional assumptions and allowing comparison queries, active learning requires exponentially fewer samples. Further, we show that these results hold as well for a stronger model of learning called Reliable and Probably Useful (RPU) learning. In this model, our learner is not allowed to make mistakes, but may instead answer "I don't know." While previous negative results showed this model to have intractably large sample complexity for label queries, we show that comparison queries make RPU-learning at worst logarithmically more expensive in both the passive and active regimes.

研究の動機と目的

• 一般の分布のもとで非同次線形分離器のアクティブラーニングにおける指数的クエリ複雑さの障壁を克服すること。
• 比較クエリの力を同次ケースにとどまらず、非同次線形分類器へと拡張すること。
• 比較クエリにより、誤りを許さず「知らない」という反応を許すRPUラーニングが、やや弱い分布的条件下でも実用的に可能になることを確立すること。
• アクティブラーニングおよびパッシブラーニングにおける分布に依存する複雑さの尺度としての平均推論次元の概念を導入し、分析すること。
• 理論的ラーニングモデルと、ラベル付けが高コストだが比較が可能な状況における実用的応用を橋渡しすること。

提案手法

• KLMZの推論次元を分布に依存する設定に拡張する新しい複雑さの尺度、平均推論次元を導入する。
• 平均推論次元の構造的解析を用いて、比較クエリを用いたアクティブラーニングにおけるRPUラーニングのサンプルおよびクエリの複雑さを上限付ける。
• データ分布における弱い集中および反集中の不等式を用いて、比較クエリが情報的なフィードバックをもたらすことを保証する。
• 最悪ケースの推論次元から平均ケースへの還元を適用し、通常のサンプルが全分布の学習能力を保持することを示す。
• 凸幾何学および線形計画法の技術を活用して、比較クエリからの情報量の増加を分析する。
• 等方的およびs-凹分布に関する先行結果を、最小限の仮定のもとで一般のs-凹および対数凹分布へと拡張する。

実験結果

リサーチクエスチョン

• RQ1 比較クエリは、一般の分布のもとで非同次線形分離器のアクティブラーニングにおける指数的クエリ複雑さの障壁を克服できるか？
• RQ2 誤りを許さず「知らない」という反応を許すRPUラーニングモデルは、比較クエリを用いることで実行可能になるか？
• RQ3 平均推論次元は、分布的仮定のもとでのアクティブラーニングおよびパッシブラーニングのサンプル複雑さを特徴づけるために用いられるか？
• RQ4 比較クエリの追加は、RPUラーニングにおけるサンプル複雑さとクエリ複雑さのトレードオフにどのように影響するか？
• RQ5 平均推論次元の枠組みは、2-局所的や3-局所的比較といった高階の相対的クエリへと拡張可能か？

主な発見

• 比較クエリにより、弱い分布的仮定のもとで非同次線形分離器の学習におけるクエリ複雑さが、次元に対して指数的から対数的へと低下する。
• RPUラーニングにおいて、比較クエリによりサンプル複雑さがPACラーニングの最大で対数的に大きくなるにとどまり、近似的に最適な性能を達成する。
• 分布の平均推論次元が、アクティブラーニングにおけるRPUラーニングのサンプルおよびクエリ複雑さを決定し、上限が $ O\big(\frac{\text{polylog}(1/\u0001)}{\u0001} \text{polylog}(1/\u0001)\big) $ に比例する。
• 図3の左側のグラフは、3次元におけるラベルベースと比較ベースのクエリ複雑さの指数的差を示し、理論的利得を確認する。
• 図3の右側のグラフは、比較クエリを用いたPerfect-Learningが次元に対してほぼ線形にスケーリングすることを確認し、理論的主張を支持する。
• 本論文は、3-局所的クエリ（例：「$ x_1 $ は $ x_2 $ よりも $ x_3 $ に近いか？」）が、その平均推論次元が $ 2^{-\tilde{O}(n^3)} $ に有界であれば、さらなる強い保証をもたらす可能性があることを確立する。