[논문 리뷰] FasterRisk: Fast and Accurate Interpretable Risk Scores

Jiachang Liu, Chudi Zhong외 3명|arXiv (Cornell University)|2022. 10. 12.

Advanced Causal Inference Techniques인용 수 11

한 줄 요약

FasterRisk는 비드 서치와 '별사탕 빛날' 반올림 전략을 사용하여 데이터에서 고품질의 위험 스코어를 신속하고 해석 가능한 방식으로 생성하는 빠른 방법을 제안한다. 이 방법은 손실 최소화를 통한 희박하고 정수 계수를 가진 모델의 다양한 풀을 효율적으로 생성하며, 분석 시간이 몇 분 이내로 AUC가 0.85 이상을 달성하여 의료 및 범죄 정책 분야에서 실시간으로 상호작용 가능한 모델 설계에 적합하다.

ABSTRACT

Over the last century, risk scores have been the most popular form of predictive model used in healthcare and criminal justice. Risk scores are sparse linear models with integer coefficients; often these models can be memorized or placed on an index card. Typically, risk scores have been created either without data or by rounding logistic regression coefficients, but these methods do not reliably produce high-quality risk scores. Recent work used mathematical programming, which is computationally slow. We introduce an approach for efficiently producing a collection of high-quality risk scores learned from data. Specifically, our approach produces a pool of almost-optimal sparse continuous solutions, each with a different support set, using a beam-search algorithm. Each of these continuous solutions is transformed into a separate risk score through a "star ray" search, where a range of multipliers are considered before rounding the coefficients sequentially to maintain low logistic loss. Our algorithm returns all of these high-quality risk scores for the user to consider. This method completes within minutes and can be valuable in a broad variety of applications.

연구 동기 및 목표

• 의료 및 범죄 정책과 같은 고위험 분야에서 데이터 기반의 고품질 위험 스코어에 대한 오랜 필요성을 해결한다.
• 전문가 기반 설계나 로지스틱 회귀의 히우리스틱 반올림과 같은 전통적 방법의 한계를 극복하여 최적의 성능을 도출한다.
• 느린 수학적 프ogram밍 솔버에 의존하지 않고도 확장 가능하고 신속한 알고리즘을 개발하여 다양한 고성능 위험 스코어를 생성한다.
• 도메인 지식을 바탕으로 사용자가 선택할 수 있도록 근사 최적의 위험 스코어 풀을 생성함으로써 상호작용 가능한 모델 설계를 가능하게 한다.
• 실제 세계 데이터셋에서 경쟁적인 성능을 달성하면서도 위험 스코어의 해석 가능성과 기억 가능성 유지

제안 방법

• 다양한 서포트 세트를 가진 거의 최적의 희박한 연속형 해를 생성하기 위해 비드 서치를 사용한다.
• 각 연속형 해에 대해 '별사탕 빛날' 서치를 적용하여 다수의 배수를 테스트한 후 계수를 순차적으로 정수로 반올림한다.
• 각 계수에 대해 여러 배수 값을 평가하여 반올림 중에 로지스틱 손실을 최소화하도록 최적화한다.
• 예측 성능과 희박성을 유지하면서 연속형 해를 정수 계수 위험 스코어로 변환한다.
• 가장 큰 공약수(GCD)를 통한 모델 단순화를 활용하여 계수를 단순화하고 해석 가능성을 향상시킨다.
• 예측 가능성 향상을 위해 기능 변환을 지원하며, 복합 기능을 상호 배타적인 카테고리로 분할한다.

실험 결과

연구 질문

• RQ1 기존의 수학적 프로그래밍 접근 방식보다 데이터에서 고품질의 해석 가능한 위험 스코어를 더 신속하게 생성할 수 있는가?
• RQ2 성능과 희박성 사이의 균형을 유지하면서도 해석 가능성을 확보하는 근사 최적의 위험 스코어 풀을 다양하게 생성할 수 있는가?
• RQ3 비드 서치와 별사탕 빛날 반올림을 조합한 방법이 로지스틱 회귀 계수의 히우리스틱 반올림보다 예측 정확도에서 뛰어나게 성능을 높일 수 있는가?
• RQ4 이 방법은 실제 세계 데이터셋에 스케일업되어 실시간 상호작용에 적합한 모델을 몇 분 내로 생성할 수 있는가?
• RQ5 모델 단순화와 기능 변환은 성능을 희생시키지 않으면서도 해석 가능성을 얼마나 향상시킬 수 있는가?

주요 결과

• FasterRisk는 mammo 데이터셋의 학습 및 테스트 세트에서 각각 AUC 0.854와 0.855를 기록하여 강력한 일반화 능력을 보였다.
• 표준 랩탑에서 몇 분 내로 완료되어 상호작용 가능한 모델 설계와 빠른 반복을 가능하게 했다.
• 알고리즘은 다양한 고품질 위험 스코어 풀을 생성하여 도메인 특화 제약 조건이나 공정성 고려 사항에 맞는 모델 선택을 가능하게 했다.
• GCD를 통한 모델 단순화로 예측 위험을 변화시키지 않으면서도 계수를 단순화하여 기억 가능성과 해석 가능성을 향상시켰다.
• 기능 변환은 모호하거나 겹치는 조건을 명확하고 상호 배타적인 카테고리로 대체하여 해석 가능성을 향상시켰다.
• 반올림 과정에서의 편향 감소와 손실 최소화로 인해 ℓ₁-정규화된 로지스틱 회귀 계수의 단순 반올림보다 성능이 뛰어났다.