[논문 리뷰] Supersparse Linear Integer Models for Predictive Scoring Systems

Berk Ustun, Stefano Tracà외 1명|arXiv (Cornell University)|2013. 06. 25.

Fuzzy Systems and Optimization참고 문헌 15인용 수 9

한 줄 요약

이 논문은 이진 분류를 위한 해석 가능하고 희박한 스코링 시스템을 생성하는 혼합정수프로그래밍 접근법인 슈퍼스parse 선형 정수 모델(SLIM)을 소개한다. SLIM은 정확도, 희박성(L0-노름을 통한), 계수의 해석 가능성(L1-노름을 통한)을 최적화하여, 표준 기계학습 방법과 비교해도 정확도가 유사하거나 이를 초월하면서도 인간이 이해할 수 있고 임상 및 정책 적용에 적합한 모델을 생성한다.

ABSTRACT

We introduce Supersparse Linear Integer Models (SLIM) as a tool to create scoring systems for binary classification. We derive theoretical bounds on the true risk of SLIM scoring systems, and present experimental results to show that SLIM scoring systems are accurate, sparse, and interpretable classification models.

연구 동기 및 목표

• 의료 및 사회과학 분야에서 해석 가능한 스코링 시스템을 생성하기 위한 공식적이고 최적의 방법이 부족한 문제를 해결하기 위해.
• 희박하고 정수 계수를 가진 모델을 생성하여 실무자들이 쉽게 사용할 수 있도록 하는 방법을 개발하기 위해.
• Lasso와 엘라스틱넷과 같은 기존 방법들이 정수 계수나 최적의 희박성을 보장하지 못하는 한계를 극복하기 위해.
• 단일 MIP 설정을 통해 모델 정확도, 희박성, 해석 가능성의 균형을 이루는 공식 최적화 프레임워크를 제공하기 위해.
• SLIM이 최첨단 기계학습 알고리즘과 유사한 정확도를 달성하면서도 높은 해석 가능성 유지가 가능함을 입증하기 위해.

제안 방법

• SLIM은 학습 오차, 계수의 L0-노름(희박성용), L1-노름(작은 정수 계수용)을 최소화하는 혼합정수계획문제(MIP)로 설정한다.
• MIP는 잘못 분류된 인스턴스를 나타내는 이진 변수 αi, 비영인 계수를 나타내는 이진 변수 βj, 계수의 절대값을 나타내는 연속 변수 γj를 사용한다.
• 논리적 관계를 강제하는 제약 조건이 설정된다: 예측이 잘못되었을 경우 αi = 1, λj ≠ 0이면 βj = 1, 그리고 γj = |λj|이다.
• 계수 λj는 유한한 집합 L 내의 정수 값으로 제약되며, 기본값은 Λ = 100이며, 선택적으로 한 자릿수 정수로 제한할 수 있다.
• 분류 규칙 ŷ = sign(xᵀλ)에서 부호 함수를 모델링하기 위해 빅-M 및 에프스실론 제약 조건을 사용한다.
• 이 방법은 CPLEX 12.5를 사용하여 구현되었으며, 약 10,000개의 예제와 약 100개의 특성까지 확장 가능하다.

실험 결과

연구 질문

• RQ1 공식 최적화 프레임워크를 통해 정확도가 매우 높고 해석 가능성이 극대화된 스코링 시스템을 생성할 수 있는가?
• RQ2 탐욕적 특성 선택과 비정수 계수를 피하면서도 최적으로 정수 계수를 가진 희박한 선형 모델을 생성할 수 있는가?
• RQ3 표준 기계학습 모델인 로지스틱 회귀, 랜덤 포레스트, 서포트 벡터 머신(SVM)과 비교해 SLIM의 정확도와 희박성은 어떠한가?
• RQ4 SLIM은 의료 및 범죄 정책과 같은 실제 응용 분야에서 실용적으로 사용 가능한 모델을 생성할 수 있는가?
• RQ5 SLIM 모델의 일반화 성능에 대해 이론적으로 어떤 보장을 제공할 수 있는가?

주요 결과

• SLIM은 6개의 UCI 데이터셋과 하나의 실제 범죄 데이터셋에서 최첨단 모델인 SVM, 랜덤 포레스트, 로지스틱 회귀와 비교해 테스트 오차율이 유사하거나 뛰어난 성능을 보였다.
• 유방암 데이터셋에서 SLIM는 오직 3개의 비영인 계수만을 사용하여 3.7%의 오차율을 달성했으며, 최고 성능 모델과 동일한 정확도를 확보하면서도 완전히 해석 가능한 모델을 제공했다.
• 폭력범죄 데이터셋에서 SLIM는 오직 9개의 비영인 계수만을 사용하여 20.1%의 오차율을 기록했으며, C5.0 및 CART보다 더 뛰어난 희박성과 경쟁 가능한 정확도를 확보했다.
• SLIM는 정수 계수 {-10, 9, -9, -1}를 가진 3개의 특성 스코링 시스템을 생성하여 임상 및 정책 적용에 쉽게 활용할 수 있도록 했다.
• 이론적 경계는 SLIM 모델의 진짜 위험도가 표본 위험도에 의해 엄격하게 제어됨을 보여주며, 표준 가정 하에 높은 확률로 성립한다.
• 특성이 이산형일 경우 SLIM 모델은 의사결정 트리로 시각화될 수 있어 정책 및 의료 분야에서의 해석 가능성 향상에 기여한다.