[논문 리뷰] Model-Agnostic Interpretable and Data-driven suRRogates suited for highly regulated industries.

Roel Henckaerts, Katrien Antonio외 1명|arXiv (Cornell University)|2020. 07. 14.

Explainable Artificial Intelligence (XAI)참고 문헌 16인용 수 4

한 줄 요약

이 논문은 고도로 규제되는 산업 분야에서 구조화된 표형 데이터를 위한 모델에 종속되지 않고 해석 가능하며 데이터 기반의 대체 방법을 제안한다. 부분적 의존도 효과를 사용하여 특성 공간을 분할하고, 자동 특성 선택을 수행하며, 군집화된 범주형 특성과 상호작용 항을 기반으로 투명한 일반선형모형(GLM)을 학습함으로써 기울기 부스팅 머신(GBM)에 가까운 성능을 달성하면서도 일반선형모형과 트리 기반 대체모형을 초월한다. 일반 보험 청구 빈도 사례 연구에서 성능을 입증하였다.

ABSTRACT

Highly regulated industries, like banking and insurance, ask for transparent decision-making algorithms. At the same time, competitive markets push for sophisticated black box models. We therefore present a procedure to develop a Model-Agnostic Interpretable Data-driven suRRogate, suited for structured tabular data. Insights are extracted from a black box via partial dependence effects. These are used to group feature values, resulting in a segmentation of the feature space with automatic feature selection. A transparent generalized linear model (GLM) is fit to the features in categorical format and their relevant interactions. We demonstrate our R package maidrr with a case study on general insurance claim frequency modeling for six public datasets. Our maidrr GLM closely approximates a gradient boosting machine (GBM) and outperforms both a linear and tree surrogate as benchmarks.

연구 동기 및 목표

• 은행 및 보험과 같은 고도로 규제되는 분야에서 규제 기준에 따른 투명성 요구와 고성능의 블랙박스 모델 간의 갈등을 해결한다.
• 내부 구조에 대한 접근이 불필요한, 동시에 해석 가능하고 복잡한 블랙박스 모델을 근사할 수 있는 대체모델을 개발한다.
• 부분적 의존도 효과에서 도출된 데이터 기반 통찰을 통해 자동 특성 선택과 특성 공간 분할을 실현한다.
• 실제 보험 데이터셋에서 예측 정확도를 유지하면서도 실용적이고 오픈소스로 제공되는 솔루션(즉, R 패키지 maidrr)을 통해 해석 가능한 모델을 구축할 수 있도록 한다.

제안 방법

• 블랙박스 모델에서 부분적 의존도 효과를 추출하여 예측에 대한 전반적 특성 영향을 이해한다.
• 이 부분적 의존도 효과를 바탕으로 특성 값을 의미 있는 세그먼트로 그룹화하여 특성 공간의 데이터 기반 분할을 수행한다.
• 세그먼트화된 특성과 그 상호작용의 중요도를 기반으로 자동 특성 선택을 적용한다.
• 세그먼트화된 범주형 특성과 선택된 상호작용 항을 기반으로 투명한 일반선형모형(GLM)을 학습시켜 해석 가능성을 확보한다.
• 기본 블랙박스 모델 아키텍처에 대한 가정이 필요 없도록 모델에 종속되지 않는 방식을 유지한다.
• 모델링 전 과정을 R 패키지 maidrr에 구현하여 규제 환경에서 재현 가능하고 접근 가능한 배포를 가능하게 한다.

실험 결과

연구 질문

• RQ1 데이터 기반의 모델에 종속되지 않는 대체모형은 기울기 부스팅 머신(GBM)과 유사한 높은 예측 성능를 달성하면서도 해석 가능할 수 있는가?
• RQ2 부분적 의존도 효과는 구조화된 표형 데이터에서 특성 공간 분할과 자동 특성 선택에 얼마나 효과적인가?
• RQ3 결과적으로 도출된 GLM 대체모형은 정확도와 해석 가능성 측면에서 표준 선형모형과 트리 기반 대체모형을 어느 정도 초월하는가?
• RQ4 제안된 방법은 다양한 공개 데이터셋을 활용한 실제 보험 청구 빈도 예측 작업에 효과적으로 적용될 수 있는가?
• RQ5 대체모형은 원본 블랙박스 모델의 예측 행동을 얼마나 잘 유지하면서도 규제 준수를 위한 투명성을 확보할 수 있는가?

주요 결과

• maidrr GLM 대체모형은 여섯 개인 공개 일반보험 청구 빈도 데이터셋에서 기울기 부스팅 머신(GBM)의 예측 성능을 거의 정확히 재현한다.
• maidrr 대체모형은 여섯 개의 모든 데이터셋에서 표준 선형모형과 트리 기반 대체모형보다 높은 예측 정확도를 확보한다.
• 부분적 의존도 효과를 기반으로 한 데이터 기반 분할을 통해 관련 특성과 상호작용을 성공적으로 식별한다.
• 결과로 도출된 GLM은 본질적으로 해석 가능하므로 고도로 규제되는 산업 분야에서 규제 감시에 적합하다.
• 사전 도메인 지식이나 수동적인 특성 공학 없이도 자동 특성 선택과 분할을 실현할 수 있다.
• R 패키지 maidrr는 실용적이고 재현 가능하며 접근 가능한 방식으로 생산 환경에서 해석 가능한 대체모형을 구현·배포할 수 있도록 한다.