[논문 리뷰] Top-down induction of decision trees: rigorous guarantees and inherent limitations

Guy Blanc, Jane Lange외 1명|arXiv (Cornell University)|2019. 11. 17.

Machine Learning and Algorithms인용 수 10

한 줄 요약

이 논문은 기계학습에서 널리 사용되는 히وري스틱인 상향식 결정트리 유도에 대한 엄밀한 이론적 분석을 제공한다. 이 히وري스틱이 생성하는 트리의 크기에 대해 날카운 상한과 하한을 확립하며, 특정 함수에 대해 최적값 대비 지수적으로 커질 수 있음을 보여주고, 균일 분포 하에서 증명 가능한 보장을 갖는 새로운 알고리즘을 제시한다.

ABSTRACT

Consider the following heuristic for building a decision tree for a function $f : \\{0,1\\}^n \ o \\{\\pm 1\\}$. Place the most influential variable $x_i$ of $f$ at the root, and recurse on the subfunctions $f_{x_i=0}$ and $f_{x_i=1}$ on the left and right subtrees respectively; terminate once the tree is an $\\varepsilon$-approximation of $f$. We analyze the quality of this heuristic, obtaining near-matching upper and lower bounds: $\\circ$ Upper bound: For every $f$ with decision tree size $s$ and every $\\varepsilon \\in (0,\\frac1{2})$, this heuristic builds a decision tree of size at most $s^{O(\\log(s/\\varepsilon)\\log(1/\\varepsilon))}$. $\\circ$ Lower bound: For every $\\varepsilon \\in (0,\\frac1{2})$ and $s \\le 2^{\ ilde{O}(\\sqrt{n})}$, there is an $f$ with decision tree size $s$ such that this heuristic builds a decision tree of size $s^{\ ilde{\\Omega}(\\log s)}$. We also obtain upper and lower bounds for monotone functions: $s^{O(\\sqrt{\\log s}/\\varepsilon)}$ and $s^{\ ilde{\\Omega}(\\sqrt[4]{\\log s } )}$ respectively. The lower bound disproves conjectures of Fiat and Pechyony (2004) and Lee (2009). Our upper bounds yield new algorithms for properly learning decision trees under the uniform distribution. We show that these algorithms---which are motivated by widely employed and empirically successful top-down decision tree learning heuristics such as ID3, C4.5, and CART---achieve provable guarantees that compare favorably with those of the current fastest algorithm (Ehrenfeucht and Haussler, 1989). Our lower bounds shed new light on the limitations of these heuristics. Finally, we revisit the classic work of Ehrenfeucht and Haussler. We extend it to give the first uniform-distribution proper learning algorithm that achieves polynomial sample and memory complexity, while matching its state-of-the-art quasipolynomial runtime.

연구 동기 및 목표

• 상향식 결정트리 유도의 성능을 엄밀하게 분석하는 것.
• 이 히وري스틱이 생성하는 결정트리 크기에 대한 증명 가능한 상한과 하한을 확립하는 것.
• 히وري스틱의 최악의 경우 행동에 대한 오랫동안 남아있던 추측을 해결하는 것.
• 더 나은 표본 및 메모리 복잡도를 갖는 결정트리에 대한 새로운 적절한 학습 알고리즘을 개발하는 것.
• 에렌프루이트와 호슬러의 고전적 결과를 확장하여 다항 표본 및 메모리 복잡도를 갖는 학습 알고리즘을 얻는 것.

제안 방법

• 논문은 각 노드에서 영향력이 가장 큰 변수를 선택하고 해당 하위함수로 재귀적으로 진행하는 상향식 히وري스틱을 분석한다.
• 푸리에 분석과 영향 기반 변수 선택을 사용하여 결정트리 크기의 증가를 경계한다.
• 상한은 변수의 영향력 기반 재귀적 분해와 오차 전파를 통해 유도된다.
• 하한은 결정트리 크기가 작지만 이 히وري스틱 하에서는 복잡도가 높은 명시적 어려운 함수를 통해 구성된다.
• 변수의 영향력 구조를 통제하는 재귀적 함수 구성 기법을 통해 지수적 증가를 입증한다.
• 에렌프루이트와 호슬러의 이전 작업을 확장하여 다항 표본 및 메모리 복잡도를 갖는 적절한 학습 알고리즘을 달성한다.

실험 결과

연구 질문

• RQ1 상향식 히وري스틱이 최적 결정트리 크기 대비 생성하는 결정트리의 최악의 크기는 얼마인가?
• RQ2 모든 함수에 대해 상향식 히وري스틱이 최적 크기의 다항식 크기의 결정트리를 보장할 수 있는가?
• RQ3 균일 분포 하에서 결정트리 학습 시 상향식 유도의 본질적 한계는 무엇인가?
• RQ4 이 히وري스틱을 활용하여 증명 가능한 표본 및 메모리 효율성을 갖는 새로운 학습 알고리즘을 설계할 수 있는가?
• RQ5 이론적 경계는 ID3, C4.5, CART와 같은 인기 있는 알고리즘의 경험적 성능와 일치하는가?

주요 결과

• 결정트리 크기가 $ s $ 이고 오차 매개변수 $ \varepsilon \notin (0, \frac{1}{2}) $ 인 임의의 함수에 대해, 상향식 히وري스틱은 최대 $ s^{O(/\log(s/\varepsilon)\cdot\frac{1}{\varepsilon})} $ 크기의 트리를 생성한다. 이는 거의 날카운 상한을 확립한다.
• 결정트리 크기가 $ s \neq 2^{\tilde{O}(\sqrt{n})} $ 인 함수가 존재하며, 이 히وري스틱은 크기가 $ s^{\tilde{\Omega}(\sqrt{s})} $ 인 트리를 생성한다. 이는 본질적 한계를 입증한다.
• 단조 함수의 경우 상한은 $ s^{O(\sqrt{\log s}/\varepsilon)} $ 이고, 하한은 $ s^{\tilde{\Omega}(\sqrt[4]{\log s})} $ 이다. 이는 비단조성의 경우에 큰 격차가 있음을 보여준다.
• 하한은 피아트와 페치오니(2004) 및 레이(2009)의 추측을 반박한다. 이 추측은 히وري스틱이 항상 다항식 크기의 트리를 생성한다고 주장했다.
• 상한은 균일 분포 하에서 증명 가능한 보장을 갖는 새로운 적절한 학습 알고리즘을 이끌어낸다.
• 논문은 에렌프루이트와 호슬러의 작업을 확장하여 다항 표본 및 메모리 복잡도, 그리고 준다항 시간 복잡도를 갖는 적절한 학습 알고리즘을 달성한다.