[논문 리뷰] Confidence Decision Trees via Online and Active Learning for Streaming (BIG) Data

Rocco De Rosa|arXiv (Cornell University)|2016. 04. 12.

Data Stream Mining Techniques참고 문헌 26인용 수 3

한 줄 요약

이 논문은 스트리밍 데이터에서 분할 선택을 위한 정교화된 신뢰구간을 사용하는 Confidence Decision Trees (CDT)를 제안하며, 엔트로피, 지니 지수, Kearns-Mansour 기준을 사용하여 보다 정확한 손실 추정을 통해 기존 Hoeffding 트리보다 정확도를 향상시킨다. 또한 레이블링 비용을 줄이면서도 높은 성능을 유지하는 활성 학습 모듈을 도입하였으며, 부분 최적 분할 선택 확률에 대한 이론적 보장을 제공하고, 실증적 검증을 통해 뛰어난 정확도와 강건성을 입증하였다.

ABSTRACT

Decision tree classifiers are a widely used tool in data stream mining. The use of confidence intervals to estimate the gain associated with each split leads to very effective methods, like the popular Hoeffding tree algorithm. From a statistical viewpoint, the analysis of decision tree classifiers in a streaming setting requires knowing when enough new information has been collected to justify splitting a leaf. Although some of the issues in the statistical analysis of Hoeffding trees have been already clarified, a general and rigorous study of confidence intervals for splitting criteria is missing. We fill this gap by deriving accurate confidence intervals to estimate the splitting gain in decision tree learning with respect to three criteria: entropy, Gini index, and a third index proposed by Kearns and Mansour. Our confidence intervals depend in a more detailed way on the tree parameters. We also extend our confidence analysis to a selective sampling setting, in which the decision tree learner adaptively decides which labels to query in the stream. We furnish theoretical guarantee bounding the probability that the classification is non-optimal learning the decision tree via our selective sampling strategy. Experiments on real and synthetic data in a streaming setting show that our trees are indeed more accurate than trees with the same number of leaves generated by other techniques and our active learning module permits to save labeling cost. In addition, comparing our labeling strategy with recent methods, we show that our approach is more robust and consistent respect all the other techniques applied to incremental decision trees.

연구 동기 및 목표

• 스트리밍 조건 하에서 의사결정 트리 분할 기준에 대한 신뢰구간에 대한 엄밀한 통계적 분석의 부족을 해결하기 위해.
• 엔트로피, 지니 지수, 그리고 Kearns-Mansour 지수와 같은 세 가지 핵심 분할 기준에 대해 더 날카롭고 정확한 신뢰구간을 개발하기 위해.
• 학습자가 어떤 레이블을 질의할지를 결정하는 선택적 샘플링(활성 학습) 설정으로 프레임워크를 확장하기 위해.
• 제안된 신뢰구간 기반으로 부분 최적 분할 선택 확률에 대한 이론적 보장을 제공하기 위해.
• 실증적으로 제안된 방법이 기존의 순차적 의사결정 트리 기법보다 더 높은 정확도와 더 나은 레이블 효율성을 달성하는지 검증하기 위해.

제안 방법

• Hoeffding 유형 부등식을 이용해 엔트로피, 지니, Kearns-Mansour 기준에 적합한 새로운 분할 이득 추정을 위한 신뢰구간 상한을 유도한다.
• Kullback-Leibler 발산과 제곱근 변환 기법을 적용하여 분할 기준의 추정 오차에 대한 더 날카운 신뢰구간을 도출한다.
• 신뢰구간을 활용해 레이블을 질의할지 여부를 결정하는 선택적 샘플링 전략을 도입하여 레이블링 비용을 최소화하면서도 정확도를 유지한다.
• 모든 노드에서 부분 최적 분할 선택 확률을 제어하기 위해 유니온 바운드와 농도 불등식의 재귀적 적용을 사용한다.
• 전체 오차 제어를 유지하기 위해 처리한 예제 수에 따라 시간에 따라 변화하는 신뢰수준을 사용한다.
• 이론적 분석을 통해 τ-부분 최적 분할을 통해 예측을 라우팅할 확률이 δ 이하로 제한되며, δ는 시간이 지남에 따라 감소함을 증명한다.

실험 결과

연구 질문

• RQ1 스트리밍 의사결정 트리에서 엔트로피, 지니 지수, Kearns-Mansour 분할 기준에 대해 더 날카운 신뢰구간을 도출할 수 있는가?
• RQ2 이러한 정교화된 신뢰구간은 표준 Hoeffding 구간 대비 분할 선택 정확도를 어떻게 향상시킬 수 있는가?
• RQ3 이러한 신뢰구간을 기반으로 한 활성 학습 전략은 분류 정확도를 희생시키지 않고 레이블링 비용을 줄일 수 있는가?
• RQ4 제안된 방법을 사용할 경우 부분 최적 분할 선택 확률에 대해 어떤 이론적 보장을 제공할 수 있는가?
• RQ5 실제 및 합성 스트리밍 데이터에서 제안된 방법은 기존의 순차적 의사결정 트리 알고리즘보다 정확도와 레이블 효율성 측면에서 어떻게 비교되는가?

주요 결과

• 제안된 신뢰구간은 동일한 잎 노드 수를 가진 표준 Hoeffding 트리보다 더 정확한 의사결정 트리를 생성한다.
• 활성 학습 모듈은 다른 순차적 트리용 활성 학습 전략 대비 레이블링 비용을 크게 줄였으며, 분류 정확도를 유지하거나 향상시켰다.
• 이론적 분석 결과, τ-부분 최적 분할로 예측을 라우팅할 확률은 δ 이하로 제한되며, δ는 시간이 지남에 따라 감소한다.
• 실증 결과는 제안된 방법이 최근의 순차적 의사결정 트리에 적용된 활성 학습 기법보다 더 강건하고 일관된 성능을 보임을 보여준다.
• 신뢰구간에 Kullback-Leibler 발산과 제곱근 변환 기법을 사용함으로써 표준 Hoeffding 스타일의 구간보다 더 날카운 추정 오차 구간을 확보할 수 있었다.
• 정확도와 레이블 효율성 측면에서 제안된 방법은 합성 및 실세계 스트리밍 데이터셋 모두에서 기존의 접근 방식을 뛰어넘었다.