[논문 리뷰] Methods and Models for Interpretable Linear Classification

Berk Ustun, Cynthia Rudin|arXiv (Cornell University)|2014. 05. 16.

Neural Networks and Applications참고 문헌 103인용 수 29

한 줄 요약

이 논문은 이산 계수를 갖는 정확하고 해석 가능한 선형 분류 모델을 구축하기 위한 정수 프로그래밍 프레임워크를 제안한다. 이는 0–1 분류 손실에 대한 완전 최적화와 사용자 정의 가능한 해석 가능성 제약 조건을 가능하게 하며, 스코어링 시스템과 M-of-N 규칙 테이블과 같은 고도로 맞춤화된 모델을 생성하여 최신 기술 수준의 정확도를 달성하면서도 투명성과 도메인 특화 맞춤화를 보장한다.

ABSTRACT

We present an integer programming framework to build accurate and interpretable discrete linear classification models. Unlike existing approaches, our framework is designed to provide practitioners with the control and flexibility they need to tailor accurate and interpretable models for a domain of choice. To this end, our framework can produce models that are fully optimized for accuracy, by minimizing the 0--1 classification loss, and that address multiple aspects of interpretability, by incorporating a range of discrete constraints and penalty functions. We use our framework to produce models that are difficult to create with existing methods, such as scoring systems and M-of-N rule tables. In addition, we propose specially designed optimization methods to improve the scalability of our framework through decomposition and data reduction. We show that discrete linear classifiers can attain the training accuracy of any other linear classifier, and provide an Occam's Razor type argument as to why the use of small discrete coefficients can provide better generalization. We demonstrate the performance and flexibility of our framework through numerical experiments and a case study in which we construct a highly tailored clinical tool for sleep apnea diagnosis.

연구 동기 및 목표

• 기존의 해석 가능한 기계 학습 방법들이 근사치와 대체 손실 함수에 의존함에 따라 제어력과 유연성이 부족한 문제를 해결한다.
• 정확도(0–1 손실을 통한 최적화)와 이산 제약 조건을 통한 해석 가능성의 두 가지 측면을 완전히 최적화할 수 있도록 전문가가 모델을 구축할 수 있도록 한다.
• 임상 스코어링 시스템과 규칙 기반 모델과 같은 도메인 특화 모델 맞춤화를 지원하는 프레임워크를 개발한다.
• 분해 및 데이터 감소 기법을 통해 고차원 설정에서 정수 프로그래밍의 확장성 한계를 극복한다.
• 이산 계수를 갖는 선형 분류기들이 다른 어떤 선형 분류기와도 동일한 정확도를 달성할 수 있음을 보여주며, 작은 정수 계수를 통한 일반화 성능 향상을 통해 더 단순하고 투명한 모델을 유도한다.

제안 방법

• 0–1 분류 손실을 최소화하기 위해 분류 문제를 혼합정수계획문제(MIP)로 공식화하여, 대체 손실 함수 없이 정확한 최적화를 보장한다.
• 이해 가능성을 강화하는 특성(예: 흐리기, 단조성, 정수 계수)을 구현하기 위해 이산 제약 조건과 페널티 함수(예: 계수가 이진일 경우 L1을 통한 L0 정규화)를 통합한다.
• 확장성을 향상시키기 위해 데이터 감소 및 분해 기법을 사용하여 더 큰 데이터셋에 적용 가능하게 한다.
• 임계값을 통한 이진 규칙으로 실수형 및 범주형 특징을 변환하여 M-of-N 규칙 테이블 기반의 모델링을 가능하게 한다.
• 활성 규칙 수와 양성 예측을 위해 필요한 최소 규칙 수를 최적화하여 M-of-N 규칙 테이블을 구성한다.
• 개인화된 해석 가능성 페널티를 적용하여 계수 값 제어 및 도메인 특화 지식(예: 정수 계수 또는 단조성)을 강제한다.

실험 결과

연구 질문

• RQ1 정수 프로그래밍 프레임워크는 대체 손실 함수 없이도 정확도와 해석 가능성 모두를 충족하는 선형 분류기를 생성할 수 있는가?
• RQ2 단순성과 흐리기 덕분에 이산 계수를 갖는 선형 모델이 연속 모델보다 더 우수한 일반화 성능을 보일 수 있는가?
• RQ3 이산 제약 조건과 페널티 함수를 통해 선형 모델에서 해석 가능성을 체계적으로 제어하고 맞춤화할 수 있는가?
• RQ4 정확한 0–1 손실 최적화를 유지하면서도 실제 데이터셋에 대해 효율적으로 확장 가능한가?
• RQ5 기존 방법으로는 어려운 M-of-N 규칙 테이블과 같은 새로운 고도로 해석 가능한 모델 유형을 프레임워크가 생성할 수 있는가?

주요 결과

• 제안된 프레임워크는 다른 어떤 선형 분류기와도 동일한 학습 정확도를 달성하는 이산 선형 분류기를 생성하여, 이산 모델이 본질적으로 정확도가 떨어지는 것은 아님을 입증한다.
• 작은 이산 계수(예: ±1, 0)의 사용은 더 우수한 일반화 성능을 이끌어내며, 모델 단순성에 대한 오카멘의 면도 원리에 부합하는 근거를 제공한다.
• 프레임워크에 의해 생성된 M-of-N 규칙 테이블은 유방암 데이터셋에서 평균 10겹 교차검증 테스트 오차 4.8±2.5%를 기록했으며, 8개의 규칙과 임계값 3을 사용하였다.
• 정확한 0–1 손실과 이산 제약 조건을 통해, 로지스틱 손실이나 L1 정규화를 사용하는 방법에서 발생하는 근사 오차를 피할 수 있다.
• 데이터 감소 및 분해 기법을 통해 프레임워크의 확장성이 크게 향상되어 중소형 및 대규모 데이터셋에 대한 실용적 구현이 가능해졌다.