[논문 리뷰] Learning using Local Membership Queries

Pranjal Awasthi, Vitaly Feldman외 1명|arXiv (Cornell University)|2012. 11. 05.

Machine Learning and Algorithms참고 문헌 26인용 수 5

한 줄 요약

이 논문은 랜덤으로 선택된 학습 예제로부터 O(log n) 히프닝 거리 이내에 있는 점들로 쿼리를 제한하는 새로운 멤버십 쿼리 학습 모델을 제안한다. 이는 쿼리가 더 현실적이며 노이즈가 적게 발생하도록 한다. 이 모델에서는 희소 다항식, O(log n)-깊이의 결정트리, 다항식 크기의 DNF 공식이 증명 가능 보장 하에 효율적으로 학습 가능하다고 보여준다.

ABSTRACT

We introduce a new model of membership query (MQ) learning, where the learning algorithm is restricted to query points that are \emph{close} to random examples drawn from the underlying distribution. The learning model is intermediate between the PAC model (Valiant, 1984) and the PAC+MQ model (where the queries are allowed to be arbitrary points). Membership query algorithms are not popular among machine learning practitioners. Apart from the obvious difficulty of adaptively querying labelers, it has also been observed that querying \emph{unnatural} points leads to increased noise from human labelers (Lang and Baum, 1992). This motivates our study of learning algorithms that make queries that are close to examples generated from the data distribution. We restrict our attention to functions defined on the $n$-dimensional Boolean hypercube and say that a membership query is local if its Hamming distance from some example in the (random) training data is at most $O(\log(n))$. We show the following results in this model: (i) The class of sparse polynomials (with coefficients in R) over $\{0,1\}^n$ is polynomial time learnable under a large class of \emph{locally smooth} distributions using $O(\log(n))$-local queries. This class also includes the class of $O(\log(n))$-depth decision trees. (ii) The class of polynomial-sized decision trees is polynomial time learnable under product distributions using $O(\log(n))$-local queries. (iii) The class of polynomial size DNF formulas is learnable under the uniform distribution using $O(\log(n))$-local queries in time $n^{O(\log(\log(n)))}$. (iv) In addition we prove a number of results relating the proposed model to the traditional PAC model and the PAC+MQ model.

연구 동기 및 목표

• 기존 멤버십 쿼리 학습의 실용적 한계를 다루며, 인간 레이블러가 제공하는 레이블이 종종 비현실적이며 노이즈가 많은 경우가 되도록 한다.
• 데이터 분포에서 자연스러운 예제로부터 히프닝 거리가 가까운 점들로만 멤버십 쿼리를 제한하는 새로운 학습 모델을 제안한다.
• 이 국소 쿼리 모델이 기존 표준 PAC 모델에서 어려운 개념 클래스를 효율적으로 학습할 수 있음을 보여준다.
• 암호학적 가정 하에 제안된 모델과 표준 PAC 및 PAC+MQ 모델 간의 이론적 분리성을 확립한다.
• 실제로 쿼리 효율적인 알고리즘 설계를 위한 프레임워크를 제공하며, 이는 이론적으로 타당하고 레이블 노이즈에 강건하다.

제안 방법

• r-국소 멤버십 쿼리는 쿼리 점과 랜덤으로 선택된 학습 예제 사이의 히프닝 거리가 최대 r 이내일 때를 의미한다.
• 불리안 하이퍼큐브 {0,1}^n 을 대상으로 하며, 국소 쿼리 임계값으로 r = O(log n) 을 사용한다.
• 국소 쿼리 하에서의 학습 가능성 분석을 위해 푸리에 분석과 의사난수 함수 구조를 활용한다.
• 일방향 함수 가정 하에 의사난수 함수 가족을 사용해 분리성을 구축함으로써 모델 계층을 증명한다.
• 근처 점들에 대한 국소 쿼리 액세스를 활용해 숨겨진 매개변수(예: 문자열 s)를 복구하는 쿼리 전략을 설계한다.
• 표준 PAC 또는 MQ 오라클을 사용해 국소 쿼리 알고리즘을 시뮬레이션함으로써 모델 간의 관계를 확립한다.

실험 결과

연구 질문

• RQ1 표준 PAC 모델에서 학습하기 어려운 개념 클래스들이 국소 멤버십 쿼리만으로 효율적으로 학습될 수 있는가?
• RQ2 국소 멤버십 쿼리 모델의 능력은 표준 PAC 및 PAC+MQ 모델과 비교해 어떻게 다른가?
• RQ3 실제로 국소 쿼리가 레이블 노이즈를 줄이면서도 이론적 학습 가능성 보장을 유지할 수 있는가?
• RQ4 자연스러운 개념 클래스에 대해 효율적 학습을 달성하기 위해 필요한 최소 국소성 반경(히프닝 거리 기준)은 얼마인가?
• RQ5 암호학적 경직성 가정 하에 국소 쿼리에서는 학습 가능한데 표준 PAC 학습에서는 학습이 불가능한 개념 클래스가 존재하는가?

주요 결과

• 희소 다항식의 클래스는 국소적으로 매끄러운 분포 하에서 O(log n)-국소 쿼리를 사용해 다항 시간 내에 학습 가능하다.
• O(log n)-깊이의 결정트리는 제품 분포 하에서 O(log n)-국소 쿼리를 사용해 효율적으로 학습 가능하다.
• 다항식 크기의 DNF 공식은 균일 분포 하에서 시간 n^{O(log log n)} 내에 O(log n)-국소 쿼리를 사용해 학습 가능하다.
• 일방향 함수가 존재한다는 가정 하에, PAC + 1-국소 MQ 모델은 표준 PAC 모델보다 엄격히 더 강력하다.
• PAC + o(n)-국소 MQ 모델은 전체 PAC+MQ 모델보다 엄격히 약하다. 이는 오직 전체 MQ 액세스가 있을 때만 학습 가능한 의사난수 개념 클래스를 통해 입증된다.
• 이 모델은 실용적인 쿼리 제약과 강력한 학습 가능성 사이의 이론적 다리를 놓으며, 암호학적 가정을 통해 분리성을 입증한다.