[논문 리뷰] Decision trees are PAC-learnable from most product distributions: a smoothed analysis

Adam Tauman Kalai, Shang‐Hua Teng|ArXiv.org|2008. 12. 04.

Machine Learning and Algorithms참고 문헌 12인용 수 6

한 줄 요약

이 논문은 결정 트리의 크기가 다항식 크기일 경우, 대부분의 곱분포에서 스무딩 분석 프레임워크를 사용하여 PAC-학습 가능하다는 것을 보여준다. 곱분포의 편향 파라미터에 작은 랜덤 펌핑을 가미함으로써, 저자들은 조건부 분포가 균일하지 않더라도, 높은 확률로 다항시간 알고리즘이 어떤 결정 트리든 학습할 수 있음을 보였다.

ABSTRACT

We consider the problem of PAC-learning decision trees, i.e., learning a decision tree over the n-dimensional hypercube from independent random labeled examples. Despite significant effort, no polynomial-time algorithm is known for learning polynomial-sized decision trees (even trees of any super-constant size), even when examples are assumed to be drawn from the uniform distribution on {0,1}^n. We give an algorithm that learns arbitrary polynomial-sized decision trees for {\em most product distributions}. In particular, consider a random product distribution where the bias of each bit is chosen independently and uniformly from, say, [.49,.51]. Then with high probability over the parameters of the product distribution and the random examples drawn from it, the algorithm will learn any tree. More generally, in the spirit of smoothed analysis, we consider an arbitrary product distribution whose parameters are specified only up to a [-c,c] accuracy (perturbation), for an arbitrarily small positive constant c.

연구 동기 및 목표

• 일반 곱분포 하에서 다항식 크기의 결정 트리에 대한 PAC-학습 문제를 오랫동안 열어두고 있던 문제를 해결하기 위해.
• 가장 나쁜 경우나 균일 분포를 가정하는 대신, 분포에 작은 랜덤 펌프팅이 가해질 경우 학습이 가능해지는지 보여주기 위해.
• 스무딩 분석을 활용하여 쿠시레비츠-만수어(Kushilevitz-Mansour, KM) 알고리즘의 적용 범위를 균일 분포를 초월하여 확장하기 위해.
• 결정 트리 학습이 worst-case 경직성 결과에도 불구하고 실질적으로는 다루기 쉬운 이유에 대한 이론적 기반을 제공하기 위해.
• 왜곡 모델 하에서 일반화된 학습 및 곱분포를 초월한 학습 설정으로의 연구 방향을 열기 위해.

제안 방법

• 각 비트의 편향이 [-c, c] 구간에서 균일 분포로부터 작은 랜덤 양으로 펌핑되는 스무딩 분석 모델을 도입한다.
• 스무딩된 곱분포에서 추출된 랜덤 예시를 사용할 수 있도록, Kushilevitz-Mansour (KM) 알고리즘 프레임워크를 조정한다.
• 결정 트리 함수의 고차수 푸리에 계수의 影향을 초입방형에서 푸리에 분석을 적용하여 경계를 설정한다.
• Chernoff-Hoeffding 경계를 적용하여, 경험적 푸리에 계수들이 진짜 값 주변에 높은 확률로 집중되도록 보장한다.
• 깊이 d에서 결정 트리를 잘라내어 고차수 항의 L2 질량을 제한함으로써, 기능의 분산에 기여하는 것은 주로 저차수 항임을 보여준다.
• 작은 크기의 푸리에 계수의 수가 제한되어 있음을 증명하여, 표본 추출을 통한 효율적 추정이 가능함을 보였다.

실험 결과

연구 질문

• RQ1 균일 분포 가정이 실패할 경우, 다항식 크기의 결정 트리가 대부분의 곱분포에서 PAC-학습 가능한가?
• RQ2 곱분포의 파라미터에 작은 랜덤 펌프팅을 가미하면, 스무딩 분석 모델 하에서 결정 트리 학습이 다루기 쉬운가?
• RQ3 스무딩 분석 프레임워크는 결정 트리에 대한 worst-case PAC 학습의 한계를 어느 정도 극복하는가?
• RQ4 KM 알고리즘이 균일 분포나 블랙박스 액세스 외에, 스무딩된 곱분포에서도 효율적으로 작동하도록 확장 가능한가?
• RQ5 스무딩 분석 접근법을 곱분포가 아닌 분포나, 더 복잡한 학습 설정인 아그노스틱 학습으로 일반화할 수 있는가?

주요 결과

• 임의의 고정된 상수 c ∈ (0, 1/4)에 대해, 임의의 크기-s 결정 트리 f에 대해, 알고리즘은 m = poly(ns/(δε))개의 예시를 스무딩된 곱분포에서 추출하여 높은 확률로 f를 학습한다.
• 알고리즘은 오차 Pr_{x∼P_μ}[h(x) ≠ f(x)] ≤ ε 를 만족하는 다항식 임계값 함수 h를 출력하며, 이는 펌프팅 Δ 및 학습 데이터에 대해 확률 1−δ 이상으로 성립한다.
• 주요 기술적 기여는 결정 트리의 고차수 푸리에 계수의 L2 질량이 (1−c)^d * s 로 경계됨을 보여주는 것으로, 깊이 d에 따라 지수적으로 감소함을 보였다.
• 작은 크기의 푸리에 계수의 수가 제한되어 있어, 진짜 분포가 균일하지 않더라도 표본 추출을 통한 효율적 추정이 가능함을 보였다.
• 알고리즘은 poly(n, m) 시간 내에 실행되어 다항시간이면서 실용적으로 가능한 스무딩 분석 모델 하에서 실행 가능하다.
• 결과적으로, PAC 학습에서 균일 분포 가정이 학습을 이전에 생각한 것만큼 단순화하지 못할 수 있음을 암시한다. 왜냐하면 조그만 펌프팅만으로도 학습이 다루기 쉬워지기 때문이다.