[논문 리뷰] Or's of And's for Interpretable Classification, with Application to Context-Aware Recommender Systems

Tong Wang, Cynthia Rudin외 4명|arXiv (Cornell University)|2015. 04. 28.

Recommender Systems and Techniques참고 문헌 51인용 수 27

한 줄 요약

이 논문은 인간의 해석 가능성을 향상시키기 위해 '논리적 또는'의 조합(즉, '논리적 그리고' 규칙의 '또는')으로 구성된 설명 가능하고 희박한 분류기를 학습하는 베이지안 OR의 AND(BOA)를 제안한다. 베타-이항분포 및 포아송 사전분포를 사용함으로써 BOA는 사용자 조절이 가능한 모델 복잡도를 제공하고, 기준 데이터셋에서 최신 기술 수준의 정확도를 달성한다. 특히 노이즈가 있는 타이트-택-토 데이터에서 완벽한 성능을 기록하며, 의사결정 트리, 서포트 벡터 기반 모델, 선형 모델을 모두 능가한다.

ABSTRACT

We present a machine learning algorithm for building classifiers that are comprised of a small number of disjunctions of conjunctions (or's of and's). An example of a classifier of this form is as follows: If X satisfies (x1 = 'blue' AND x3 = 'middle') OR (x1 = 'blue' AND x2 = '<15') OR (x1 = 'yellow'), then we predict that Y=1, ELSE predict Y=0. An attribute-value pair is called a literal and a conjunction of literals is called a pattern. Models of this form have the advantage of being interpretable to human experts, since they produce a set of conditions that concisely describe a specific class. We present two probabilistic models for forming a pattern set, one with a Beta-Binomial prior, and the other with Poisson priors. In both cases, there are prior parameters that the user can set to encourage the model to have a desired size and shape, to conform with a domain-specific definition of interpretability. We provide two scalable MAP inference approaches: a pattern level search, which involves association rule mining, and a literal level search. We show stronger priors reduce computation. We apply the Bayesian Or's of And's (BOA) model to predict user behavior with respect to in-vehicle context-aware personalized recommender systems.

연구 동기 및 목표

• 소비자 행동 및 의료와 같은 의사결정 맥락에서 인간이 이해할 수 있도록 정확하고 해석 가능한 기계학습 모델을 개발하는 것.
• 사람의 사고 방식과 일치하는 '또는'의 '그리고' 형태로 표현된 분류기 모델링을 통해 정확도와 설명 가능성 간의 상충 관계를 해결하는 것.
• 분야에 맞는 설명 가능성 요구사항을 반영할 수 있는 조정 가능한 베이지안 사전분포를 통해 사용자가 모델 복잡도(예: 패턴 크기 및 길이)를 제어할 수 있도록 하는 것.
• 이론적 최적성 보장을 유지하면서도 축소된 검색 공간에서 고품질의 전역 최적 모델을 찾을 수 있도록 확장 가능한 추론 방법을 설계하는 것.
• 특히 설명 가능성의 중요성이 요구되는 맥락 기반 추천 시스템 및 의료 진단과 같은 실제 응용 분야에서 모델의 효과성을 입증하는 것.

제안 방법

• BOA 모델은 두 가지 변형인 BOA-BetaBinomial과 BOA-Poisson를 사용하며, 사용자가 조절할 수 있는 사전분포를 통해 패턴 집합 크기와 패턴 길이를 제어한다.
• 모델은 각 패턴이 속성-값 쌍(리터럴)의 논리적 '그리고'이고 전체 모델이 이러한 패턴들의 논리적 '또는'인 디스junction of conjunctions(DNF) 형태로 분류기를 표현한다.
• 패턴 수준의 검색은 연관 규칙 탐색과 시뮬레이티드 어닐링을 조합하여 고빈도 패턴을 사전 선별함으로써 검색 공간을 축소하면서도 MAP 해를 찾을 수 있는 능력을 유지한다.
• 리터럴 수준의 검색은 현재 패턴 집합 내의 개별 리터럴을 수정함으로써 스토케스틱 로컬 검색을 수행하며, 더 넓은 해 공간 탐색이 가능하지만 계산 비용이 높다.
• 강한 사전분포와 비교적 작은 데이터셋 조건에서, 사전에 추출된 패턴이 MAP 해를 찾는 데 충분함을 보장하는 이론적 경계를 유도한다.
• 사용자가 도메인 특화된 설명 가능성 선호도(예: 짧은 패턴이나 특정 수의 패턴을 선호)를 반영할 수 있도록 사전 파rameter를 통합한다.

실험 결과

연구 질문

• RQ1 베이지안 모델은 인간 전문가가 이해할 수 있고 정확한 '또는'의 '그리고' 규칙 형태로 표현된 설명 가능하고 희박한 분류기를 학습할 수 있는가?
• RQ2 사용자가 모델의 크기와 형태를 제어할 수 있도록 하는 사전분포는 어떻게 설계할 수 있으며, 이는 도메인 특화된 설명 가능성 요구사항과 어떻게 일치하는가?
• RQ3 어떤 조건에서 연관 규칙 탐색을 통해 사전에 추출된 패턴이 반드시 MAP 해를 포함함을 보장할 수 있으며, 이로 인해 확장 가능한 추론이 가능해지는가?
• RQ4 실제 데이터셋에서 명백한 논리적 구조를 지닌 표준 기준 모델(예: 의사결정 트리, 서포트 벡터 기반 모델, 선형 모델)과 비교했을 때 BOA 모델은 정확도와 해석 가능성 측면에서 어떤가?
• RQ5 기존의 탐욕적 또는 볼록 최적화 방법이 실패하는 고노이즈 수준에서도 모델은 진짜 기반 논리 규칙을 효과적으로 복원할 수 있는가?

주요 결과

• BOA는 타이트-택-토 데이터셋에서 AUC 1.000의 완벽한 성능을 기록했으며, C4.5, CART, 랜덤 포레스트, SVM 등 모든 기준 모델을 능가했다.
• 같은 데이터셋에 30%의 노이즈가 첨가된 상황에서도 BOA는 여전히 완벽한 성능(AUC = 1.000)을 유지했고, C4.5 및 CART와 같은 다른 모델들은 정확도가 심각하게 떨어졌다.
• 유방암 데이터셋에서 BOA는 95.2%의 검증 외 정확도, 97.4%의 참양성률, 6.0%의 거짓양성률을 기록한 3개 패턴으로 구성된 규칙 집합을 생성하여 강력한 임상적 설명 가능성을 입증했다.
• 모델이 정확한 논리 규칙(예: 타이트-택-토에서의 경우)을 복원할 수 있다는 능력은 탐욕적 또는 볼록 최적화 방법이 종종 최적 해를 찾지 못하는 데 비해 그 장점을 드러낸다.
• 사용자가 짧은 패턴을 선호할 경우 패턴 수준의 검색 방법이 더 효율적이고 효과적이었고, 리터럴 수준의 검색은 더 높은 계산 비용을 감수하면서도 더 넓은 해 공간 탐색을 가능하게 했다.
• 이론적 분석을 통해 충분히 강한 사전분포 조건 하에서는 사전에 추출된 패턴이 반드시 MAP 해를 포함함을 증명할 수 있었으며, 이는 최적성 보장을 잃지 않은 채 확장 가능한 추론을 가능하게 했다.