[논문 리뷰] Generalized Linear Rule Models

Dennis Wei, Sanjeeb Dash외 2명|arXiv (Cornell University)|2019. 06. 05.

Bayesian Modeling and Causal Inference참고 문헌 28인용 수 16

한 줄 요약

이 논문은 회귀 및 확률적 분류를 위한 규칙 기반 특징의 지수적으로 큰 공간에서 최적화하기 위해 컬럼 생성을 사용하는 일반선형 규칙 모델을 제안한다. 혼합정수계획법 또는 휴리스틱 하위문제를 풀어 반복적으로 고품질의 규칙을 생성함으로써, 기존의 규칙 앙상블 방법보다 더 나은 정확도-복잡도 트레이드오프를 달성하며, 트리 앙상블 및 비선형 SVM과 같은 해석이 어려운 모델의 성능을 따라하거나 초월하면서도 규칙의 희소성 덕분에 해석 가능성 유지한다.

ABSTRACT

This paper considers generalized linear models using rule-based features, also referred to as rule ensembles, for regression and probabilistic classification. Rules facilitate model interpretation while also capturing nonlinear dependences and interactions. Our problem formulation accordingly trades off rule set complexity and prediction accuracy. Column generation is used to optimize over an exponentially large space of rules without pre-generating a large subset of candidates or greedily boosting rules one by one. The column generation subproblem is solved using either integer programming or a heuristic optimizing the same objective. In experiments involving logistic and linear regression, the proposed methods obtain better accuracy-complexity trade-offs than existing rule ensemble algorithms. At one end of the trade-off, the methods are competitive with less interpretable benchmark models.

연구 동기 및 목표

• 규칙 기반 특징과 향상된 해석 가능성 및 모델링 유연성을 결합한 일반선형 모델을 개발하는 것.
• 사전에 후보를 생성하거나 탐욕적 규칙 추가를 사용하지 않고 지수적으로 큰 규칙 공간을 탐색하는 데 도전하는 것.
• 예측 정확도와 규칙 집합의 복잡도(규칙 수 및 길이) 사이의 트레이드오프를 최적화하는 것.
• 이진 및 수치형 특징을 모두 활용할 수 있도록 이진화를 통해 계산 가능성을 유지하는 것.
• 수백 개의 규칙을 포함하는 규칙 앙상블이 비해석 가능한 모델(예: 트리 앙상블 및 비선형 SVM)과 경쟁 가능한 성능을 달성하면서도 해석 가능성을 유지할 수 있음을 보여주는 것.

제안 방법

• 지수적으로 큰 규칙 공간에서 사전 후보 집합을 생성하지 않고도 컬럼 생성(CG)을 사용해 동적으로 규칙을 생성한다.
• CG 하위문제를 정수계획법 또는 동일한 목적함수를 최적화하는 휴리스틱을 통해 해결한다.
• 일반선형모델(GLM)을 회귀 및 확률적 분류에 적용하며, 규칙을 특징으로 사용한다.
• 특징 이진화를 적용: 범주형 변수는 원핫 인코딩을, 수치형 특징은 이중 방향 임계값 설정을 사용한다.
• 각 CG 반복에서 GLM을 재적합하여 규칙 가중치를 업데이트하거나 기각함으로써, 탐욕적 하나씩 규칙 추가 방식을 피한다.
• 두 가지 변형을 도입: 일반 규칙 생성을 위한 LRR(N)과 일차 규칙을 위한 LR1(N)으로, 수치형 특징과 결합될 경우 일반화된 가산 모델(GAM)을 형성한다.

실험 결과

연구 질문

• RQ1 컬럼 생성이 비선형 일반선형 모델에서 규칙 앙상블을 학습하는 데 효과적으로 적용될 수 있는가?
• RQ2 제안된 방법이 기존 규칙 앙상블 알고리즘보다 더 나은 정확도-복잡도 트레이드오프를 달성하는가?
• RQ3 수백 개의 규칙을 포함하는 규칙 앙상블이 비해석 가능한 모델과 경쟁 가능한 성능을 달성하면서도 해석 가능성이 유지되는가?
• RQ4 회귀 및 분류 과제에서 상호작용을 포함한 고차수 규칙이 일차 규칙보다 예측 성능에서 어떻게 비교되는가?
• RQ5 적응형 이진화를 갖는 휴리스틱 기반 컬럼 생성이 특히 회귀 과제에서 모델 성능을 향상시킬 수 있는가?

주요 결과

• 제안된 LRR(N) 방법은 분류 및 회귀 과제에서 모두 RuleFit 및 기타 규칙 앙상블 방법보다 더 나은 정확도-복잡도 트레이드오프를 달성한다.
• MEPS 데이터셋에서 LRR(N)은 단지 108.2개의 가중치 규칙로 평균 $R^2$가 0.789에 도달하여 복잡도 측면에서 RuleFit(N)을 뛰어넘으면서도 경쟁 가능한 성능 유지를 한다.
• 분류 과제에서 LRR(N)은 단지 61.8개의 가중치 규칙으로 평균 AUC가 0.618에 도달하여 정확도와 복잡도 양면에서 RuleFit를 뛰어넘는다.
• Friedman 검정 결과 회귀 과제에서 통계적으로 유의미한 결과(p-value 0.046)를 보였으며, LRR(N)이 모델 품질 측면에서 LR1(N)을 뚜렷이 뛰어넘는다.
• 트레이드오프 곡선 분석 결과, 수십 개의 규칙을 포함하는 모델가 대부분 최대 성능에 가까운 성능을 달성함을 시사하며, 정확도 손실 없이 상당한 단순화가 가능하다.
• 이 방법은 비선형 SVM 및 트리 앙상블과 경쟁 가능한 성능을 보이며, 해석 가능성은 희소한 규칙 기반 표현을 통해 유지한다.