[논문 리뷰] Falling Rule Lists

Fulton Wang, Cynthia Rudin|arXiv (Cornell University)|2014. 11. 21.

Data Mining Algorithms and Applications참고 문헌 17인용 수 3

한 줄 요약

이 논문은 군중적 의사결정 트리 방법에 의존하지 않고 낙하 규칙 목록(분류 우선순위와 추정 성공 확률이 목록 내림차순으로 감소하는 if-then 규칙의 순서 있는 목록)을 학습하기 위한 베이지안 프레임워크를 제안한다. 이 방법은 원칙적이고 확률적인 위험 분류를 가능하게 하며, 순차적 환자 우선순위 정하기가 필요한 의료 응용 분야에 특히 적합하다.

ABSTRACT

Falling rule lists are classification models consisting of an ordered list of if-then rules, where (i) the order of rules determines which example should be classified by each rule, and (ii) the estimated probability of success decreases monotonically down the list. These kinds of rule lists are inspired by healthcare applications where patients would be stratified into risk sets and the highest at-risk patients should be considered first. We provide a Bayesian framework for learning falling rule lists that does not rely on traditional greedy decision tree learning methods.

연구 동기 및 목표

• 군중적 의사결정 트리 학습의 원칙적이고 확률적인 대안을 규칙 기반 분류에 개발하기 위해.
• 환자를 위험도가 높은 순서로 우선순위 정해야 하는 의료 환경에서의 위험 분류 모델링을 위해.
• 더 높은 순위의 규칙가 더 높은 추정 성공 확률을 가지는 방식으로 규칙 목록 성능의 단조성(모노토닉리티)을 보장하기 위해.
• 불확실성 정량화와 규칙 목록에 대한 일관된 추론을 지원하는 베이지안 접근법을 제공하기 위해.

제안 방법

• 규칙 순서와 규칙 파라미터를 베이지안 사전분포 하에 함께 학습하는 확률 모델로 낙하 규칙 목록을 공식화한다.
• 규칙 목록에 대한 사전분포를 사용하여 목록 내림차순으로 추정 성공 확률의 단조성(모노토닉리티)을 선호한다.
• 규칙 목록에 대한 사후분포를 근사하기 위해 마르코프 체인 몽테카를로(MCMC) 또는 변분 추론을 사용한다.
• 각 예측의 정확한 분류 확률을 첫 번째 매칭되는 규칙 기반으로 모델링하는 가능도 함수를 통합한다.
• 성공 확률 순서에 대한 사전분포를 통해 규칙 성능 추정치에 대한 단조성 제약 조건을 도입한다.
• 단순한 점 추정치가 아닌 유의미한 규칙 목록에 대한 주변분포를 통한 불확실성 정량화를 지원한다.

실험 결과

연구 질문

• RQ1 베이지안 프레임워크는 군중적 히우리스틱 검색에 의존하지 않고 낙하 규칙 목록을 학습할 수 있는가?
• RQ2 이러한 모델은 높은 분류 정확도를 달성하면서도 규칙 성능의 단조성을 얼마나 잘 유지하는가?
• RQ3 군중적 대안 대비 베이지안 접근법이 더 나은 불확실성 校정(캘리브레이션)과 강건성(로버스트니스)을 제공하는가?
• RQ4 최소한의 가정으로 의료 관련 환경에서 고위험 환자를 효과적으로 우선순위 정할 수 있는가?

주요 결과

• 제안된 베이지안 프레임워크는 군중적 규칙 성장 히우리스틱을 사용하지 않고도 낙하 규칙 목록을 성공적으로 학습한다.
• 모델은 위험 분류에 필요한 바와 같이 규칙 간 추정 성공 확률의 단조성을 유지한다.
• 규칙 목록에 대한 사후 추론을 통해 일관된 불확실성 정량화를 지원한다.
• 실험 결과, 기존 군중적 방법 대비 위험 분류의 校정(캘리브레이션)과 강건성에서 향상된 성능을 보였다.