[논문 리뷰] Learning Certifiably Optimal Rule Lists for Categorical Data

Elaine Angelino, Nicholas Larus-Stone외 3명|arXiv (Cornell University)|2017. 04. 06.

Bayesian Modeling and Causal Inference참고 문헌 38인용 수 108

한 줄 요약

본 논문은 CORELS를 도입합니다. CORELS는 범주형 데이터에 대해 인증 가능하고 희소하며 해석 가능한 규칙 목록을 구성하는 가지-공간 탐색 알고리즘으로, 최적성 인증서를 제공합니다.

ABSTRACT

We present the design and implementation of a custom discrete optimization technique for building rule lists over a categorical feature space. Our algorithm produces rule lists with optimal training performance, according to the regularized empirical risk, with a certificate of optimality. By leveraging algorithmic bounds, efficient data structures, and computational reuse, we achieve several orders of magnitude speedup in time and a massive reduction of memory consumption. We demonstrate that our approach produces optimal rule lists on practical problems in seconds. Our results indicate that it is possible to construct optimal sparse rule lists that are approximately as accurate as the COMPAS proprietary risk prediction tool on data from Broward County, Florida, but that are completely interpretable. This framework is a novel alternative to CART and other decision tree methods for interpretable modeling.

연구 동기 및 목표

• 정규화된 경험적 위험을 최적성 인증서로 최소화하는 규칙 목록 학습 프레임워크를 개발한다.
• 탐색 공간을 효율적으로 제약하기 위한 경계(bounds)와 데이터 구조를 제공한다.
• 희소하고 해석 가능한 규칙 목록이 실제 데이터 세트에서 탐욕적 방법과 동등하거나 우수함을 입증한다.
• 범죄 사법 문제(COMPAS)와 NYPD stop-and-frisk 데이터에의 적용 가능성을 보인다.

제안 방법

• 규칙 목록 모델과 정규화된 목적 함수 R(d, x, y) = loss(d, x, y) + lambda * K를 정의한다(여기서 K는 규칙의 수이다).
• 탐색 공간을 가지치기하기 위해 계층적 목적 하한값을 사용하는 CORELS라는 특수한 가지-경계 알고리즘을 개발한다.
• 규칙 목록 관리를 위해 접두어 트리(prefix-tree)를 사용하고 규칙의 순열 등가성을 활용하기 위한 대칭 인식 맵을 도입한다.
• 하한증명(Theorem 1) 및 여러 제약(최소 지지도, 정확도 요구사항, 순열 가지치기(Theorems 10–15, 20))를 도출하여 가지치기를 수행한다.
• 탐색의 상한 길이와 열거 전략을 제공하여 최적 해를 몇 초 안에, 인증서를 몇 분 내에 얻을 수 있도록 한다.

실험 결과

연구 질문

• RQ1 정규화된 위험에 대해 인증 가능하게 최적임이 보장되는 범주형 데이터의 규칙 목록을 구성할 수 있는가?
• RQ2 해석 가능한 규칙 목록에 대한 확장 가능하고 정확한 최적화를 가능하게 하는 경계 및 데이터 구조 기술은 무엇인가?
• RQ3 인증 가능 최적 규칙 목록은 실세계 데이터에서 그리디 방법(CART, C4.5)과 어떻게 비교되는가?
• RQ4 해석 가능하고 희소한 규칙 목록이 독점적인 블랙박스 모델과 정확도 면에서 경쟁력이 있는가?
• RQ5 이 프레임워크를 범죄 사법 데이터셋(COMPAS, stop-and-frisk)에 적용하여 투명한 위험 예측을 도출할 수 있는가?

주요 결과

• CORELS는 최적성 인증서를 가진 규칙 목록을 높은 수준의 가지치기 탐색 전략으로 얻는다.
• 해당 알고리즘은 공개 데이터에서 CART와 C4.5에 비해 일반화 정확도가 경쟁적이거나 우수함을 보인다.
• CORELS로 찾은 최적 규칙 목록은 희 sparse하고 해석 가능하여 민감한 도메인에서의 실용적 사용을 가능하게 한다.
• COMPAS 및 NYPD/NYCLU stop-and-frisk 데이터에서 CORELS는 불투명한 방법에 비해 정확도에 근접한 해석 가능한 규칙 목록을 생성한다.
• 이 구현은 최적의 해석 가능 모델이 복잡한 예측기와의 근접 또는 동일 수준의 성능을 유지하면서도 투명성을 확보할 수 있음을 보여준다.