[논문 리뷰] Scalable Bayesian Rule Lists

Hongyu Yang, Cynthia Rudin외 1명|arXiv (Cornell University)|2016. 02. 27.

Bayesian Modeling and Causal Inference참고 문헌 30인용 수 9

한 줄 요약

이 논문은 효율적인 계산, 필터링 경계, 계산 재사용을 통해 규칙 목록에 대한 베이지안 계층 모델을 최적화하는 빠르고 해석 가능한 확률적 분류기인 확장 가능한 베이지안 규칙 목록(SBRL)을 소개한다. SBRL는 이전 방법들보다 두 배수의 속도 향상을 이룩하면서 기준 데이터셋에서 결정 트리의 정확도와 희박성과 동일하거나 이를 초월한다.

ABSTRACT

We present an algorithm for building probabilistic rule lists that is two orders of magnitude faster than previous work. Rule list algorithms are competitors for decision tree algorithms. They are associative classifiers, in that they are built from pre-mined association rules. They have a logical structure that is a sequence of IF-THEN rules, identical to a decision list or one-sided decision tree. Instead of using greedy splitting and pruning like decision tree algorithms, we fully optimize over rule lists, striking a practical balance between accuracy, interpretability, and computational speed. The algorithm presented here uses a mixture of theoretical bounds (tight enough to have practical implications as a screening or bounding procedure), computational reuse, and highly tuned language libraries to achieve computational efficiency. Currently, for many practical problems, this method achieves better accuracy and sparsity than decision trees; further, in many cases, the computational time is practical and often less than that of decision trees. The result is a probabilistic classifier (which estimates P(y = 1|x) for each x) that optimizes the posterior of a Bayesian hierarchical model over rule lists.

연구 동기 및 목표

• 정확도, 해석 가능성, 계산 효율성의 균형을 이룬 확률적 분류기를 개발하여, 탐욕적 결정 트리 알고리즘의 한계를 해결한다.
• 결정 트리의 局소 최적화 결함을 극복하기 위해, 베이지안 사후확률 최대화를 통해 규칙 목록에 대한 전역 최적화를 수행한다.
• 이론적 경계, 빈 패턴 마이닝, 고성능 계산을 조합하여 규칙 목록에 대한 실용적이고 확장 가능한 추론을 가능하게 한다.
• 정확하고 인간이 이해할 수 있는 희박한 논리적 규칙 목록을 생성하여 실세계 구현에 적합하게 한다.

제안 방법

• SBRL는 데이터에 대해 주어진 규칙 목록의 사후확률을 최대화하는 원칙적인 목표를 정의하기 위해 베이지안 계층 모델을 사용한다.
• 해당 데이터로부터 빈 패턴을 사전에 마이닝하여, 최소한의 인스턴스 수를 포괄하는 규칙들만으로 검색 공간을 제한함으로써 조합 폭발을 줄인다.
• 사후확률에 대한 날카운 분석 경계를 적용하여 비최적의 규칙을 걸러내고 검색 공간을 효율적으로 단순화한다.
• 계산 재사용을 적용한다: 규칙 목록을 수정할 때는 변경 이하의 데이터 평가만 재계산하고, 이전 결과는 위쪽에서 재사용한다.
• 반복적인 규칙 목록 평가를 가속화하기 위해 고도로 최적화된 저수준 라이브러리를 사용하여 빠른 반복을 가능하게 한다.
• 이러한 구성 요소들을 조합하여 결정 트리에서 사용하는 탐욕적 히우리스틱을 피하는 규칙 목록에 대한 전역 최적화를 수행한다.

실험 결과

연구 질문

• RQ1 전역 최적화된 규칙 목록 분류기가 정확도와 희박성 면에서 탐욕적 결정 트리 알고리즘을 능가하면서도 계산적으로 실현 가능한가?
• RQ2 이론적 사후확률 경계가 규칙 목록 최적화에서 실용적인 걸러내기 도구로 충분히 날카로운가?
• RQ3 계산 재사용과 고성능 라이브러리가 규칙 목록 최적화의 시간 복잡도를 두 배수 정도 감소시킬 수 있는가?
• RQ4 결과로 도출된 확률적 규칙 목록은 높은 해석 가능성과 함께 표준 벤치마크에서 최신 기술 수준의 성능을 유지하는가?

주요 결과

• SBRL는 이전에 알려진 베이지안 규칙 목록 학습 구현보다 두 배수 이상의 빠른 계산 성능을 달성한다.
• UCI 버섯 데이터셋에서, SBRL는 노트북에서 약 9초 만에 완벽한 검증 세트 정확도를 가진 규칙 목록을 학습했다.
• UCI 어른 데이터셋에서, SBRL는 심지어 정밀하게 튜닝된 CART나 C4.5 결정 트리보다 더 높은 검증 세트 AUC를 달성했다.
• 이 방법은 정확하고 인간이 이해할 수 있는 희박한 규칙 목록을 생성하며, 각 입력 x에 대해 P(y=1|x)를 추정하는 확률적 출력을 제공한다.
• 분석적 사후확률 경계의 사용은 솔루션 품질을 훼손하지 않으면서도 비최적의 규칙 조합을 효과적으로 제거할 수 있게 했다.
• 계산 재사용과 최적화된 라이브러리는 규칙 목록 수정의 효율적 평가를 가능하게 하여 전역 최적화의 실현 가능성을 높였다.