[論文レビュー] Learning using Local Membership Queries

Pranjal Awasthi, Vitaly Feldman+1 more|arXiv (Cornell University)|Nov 5, 2012

Machine Learning and Algorithms参考文献 26被引用数 5

ひとこと要約

本稿では、訓練例からランダムに抽出した点とハミング距離 O(log n) 以内の点に制限されたメンバーシップクエリを用いる新しいメンバーシップクエリ学習モデルを導入する。これによりクエリがより現実的でノイズに強く、スパース多項式、O(log n)-深さの決定木、多項式サイズのDNF式が、理論的保証とともに効率的に学習可能であることが示された。

ABSTRACT

We introduce a new model of membership query (MQ) learning, where the learning algorithm is restricted to query points that are \emph{close} to random examples drawn from the underlying distribution. The learning model is intermediate between the PAC model (Valiant, 1984) and the PAC+MQ model (where the queries are allowed to be arbitrary points). Membership query algorithms are not popular among machine learning practitioners. Apart from the obvious difficulty of adaptively querying labelers, it has also been observed that querying \emph{unnatural} points leads to increased noise from human labelers (Lang and Baum, 1992). This motivates our study of learning algorithms that make queries that are close to examples generated from the data distribution. We restrict our attention to functions defined on the $n$-dimensional Boolean hypercube and say that a membership query is local if its Hamming distance from some example in the (random) training data is at most $O(\log(n))$. We show the following results in this model: (i) The class of sparse polynomials (with coefficients in R) over $\{0,1\}^n$ is polynomial time learnable under a large class of \emph{locally smooth} distributions using $O(\log(n))$-local queries. This class also includes the class of $O(\log(n))$-depth decision trees. (ii) The class of polynomial-sized decision trees is polynomial time learnable under product distributions using $O(\log(n))$-local queries. (iii) The class of polynomial size DNF formulas is learnable under the uniform distribution using $O(\log(n))$-local queries in time $n^{O(\log(\log(n)))}$. (iv) In addition we prove a number of results relating the proposed model to the traditional PAC model and the PAC+MQ model.

研究の動機と目的

• 従来のメンバーシップクエリ学習における実用的制限に対処する。すなわち、人間のラベルラーバーが不自然でノイズの多いラベルを出力するようなクエリが頻発する問題。
• データ分布からの自然な例に近い（ハミング距離で測った意味で）点に制限されたメンバーシップクエリを導入する新しい学習モデルを提案する。
• このローカルクエリモデルが、標準PACモデルでは学習が難しい概念クラスを効率的に学習可能であることを示す。
• 暗号的仮定の下で、提案モデルと標準PACモデルおよびPAC+MQモデルとの間の理論的分離を確立する。
• 実用的でクエリ効率が良く、ラベルノイズに対して理論的にも堅牢な学習アルゴリズムの設計フレームワークを提供する。

提案手法

• ハミング距離がランダムに抽出された訓練例とクエリ点の間で r 以内であるようなクエリを r-ローカルメンバーシップクエリと定義する。
• ブールハイパーキューブ {0,1}^n を対象とし、ローカルクエリの閾値として r = O(log n) を用いる。
• ローカルクエリ下での学習可能性を分析するために、フーリエ解析と擬似ランダム関数構成を用いる。
• 一方向関数の仮定の下で擬似ランダム関数族を用いて分離を構築し、モデルの階層を証明する。
• 隠れたパラメータ（例：文字列 s）を、近接点へのローカルクエリアクセスを活用して回復するクエリ戦略を設計する。
• 標準PACまたはMQオракルを用いてローカルクエリアルゴリズムをシミュレートし、モデル間の関係を確立する。

実験結果

リサーチクエスチョン

• RQ1 標準PACモデルで学習が難しい概念クラスが、ローカルメンバーシップクエリのみを用いて効率的に学習可能か？
• RQ2 ローカルメンバーシップクエリモデルのパワーは、標準PACモデルおよびPAC+MQモデルと比べてどの程度か？
• RQ3 実際の応用においてローカルクエリはラベルノイズを低減できるが、理論的学習可能保証は維持できるか？
• RQ4 自然な概念クラスに対して効率的学習を達成するために必要な最小の局所半径（ハミング距離の観点から）はどの程度か？
• RQ5 暗号的困難性の仮定の下で、ローカルクエリでは学習可能だが標準PAC学習では学習不能な概念クラスは存在するか？

主な発見

• スパース多項式のクラスは、{0,1}^n 上で局所的に滑らかな分布の下で、O(log n)-ローカルクエリを用いて多項式時間で学習可能である。
• O(log n)-深さの決定木は、積分布の下でO(log n)-ローカルクエリを用いて効率的に学習可能である。
• 多項式サイズのDNF式は、一様分布の下で時間 n^{O(log log n)} でO(log n)-ローカルクエリを用いて学習可能である。
• 一方向関数が存在すると仮定すると、PAC + 1-ローカルMQモデルは標準PACモデルよりも厳密に強力である。
• PAC + o(n)-ローカルMQモデルは、完全なPAC+MQモデルよりも厳密に弱く、これは完全なMQアクセスが必要な擬似ランダム概念クラスが存在することによって示された。
• 本モデルは、実用的クエリ制約と強い学習可能性の間の理論的ブリッジを提供し、暗号的仮定に基づいた分離が証明された。