[논문 리뷰] Automatic Model Monitoring for Data Streams

Fábio Pinto, Marco O. P. Sampaio외 1명|arXiv (Cornell University)|2019. 08. 12.

Data Stream Mining Techniques인용 수 7

한 줄 요약

이 논문은 데이터 스트림에서 자동 모델 모니터링을 위한 비지도 스트리밍 시스템인 SAMM을 제안한다. SAMM은 모델 점수의 분포 변화를 이용해 개념 드리프트를 탐지하고 설명 가능한 경고 보고서를 생성한다. 다섯 개인 실세계의 사기 탐지 데이터셋에서 평가한 결과, 인간 전문가가 경고 탐지 및 보고서의 명확성에 대해 높은 신뢰도를 보였으며, 즉각적인 레이블이 없이도 의미 있는 드리프트를 효과적으로 식별함을 입증하였다.

ABSTRACT

Detecting concept drift is a well known problem that affects production systems. However, two important issues that are frequently not addressed in the literature are 1) the detection of drift when the labels are not immediately available; and 2) the automatic generation of explanations to identify possible causes for the drift. For example, a fraud detection model in online payments could show a drift due to a hot sale item (with an increase in false positives) or due to a true fraud attack (with an increase in false negatives) before labels are available. In this paper we propose SAMM, an automatic model monitoring system for data streams. SAMM detects concept drift using a time and space efficient unsupervised streaming algorithm and it generates alarm reports with a summary of the events and features that are important to explain it. SAMM was evaluated in five real world fraud detection datasets, each spanning periods up to eight months and totaling more than 22 million online transactions. We evaluated SAMM using human feedback from domain experts, by sending them 100 reports generated by the system. Our results show that SAMM is able to detect anomalous events in a model life cycle that are considered useful by the domain experts. Given these results, SAMM will be rolled out in a next version of Feedzai's Fraud Detection solution.

연구 동기 및 목표

• 생산 환경에서 레이블이 지연되거나 가용하지 않을 때 개념 드리프트를 탐지하는 데에 발생하는 격차를 보완하기 위해.
• 탐지된 드리프트에 대해 실행 가능한 설명을 자동으로 생성하여 기여하는 특성와 사건을 식별하기 위해.
• 고속도 데이터 스트림의 실시간 모니터링에 적합한 시간 및 공간 효율적인 시스템을 설계하기 위해.
• 실제 도입 환경에서의 실용성을 보장하기 위해 도메인 전문가의 피드백을 활용해 시스템을 평가하기 위해.

제안 방법

• SAMM는 스트리밍 신호 S를 사용하여 최근 타겟 윈도우 T의 모델 점수 분포를 기준 윈도우 R과 비교하여, 개념 드리프트를 나타내는 분포 변화를 탐지한다.
• 실시간 동작을 가능하게 하기 위해 고정된 버킷을 사용하는 일정한 시간 및 메모리 효율적인 백분위수 추정 알고리즘인 SPEAR를 활용한다.
• S가 동적 임계값 τ를 초과할 경우 경고가 발생하고, 보조 모델이 T와 R 간의 차이를 보이는 특성을 식별하기 위해 훈련된다.
• 보조 모델은 특성 기여도 점수와 예측 신뢰도를 출력하여 인간이 읽을 수 있는 설명 보고서를 생성한다.
• 시스템은 제도 변화에 대응하기 위해 임계값을 동적으로 조정하지만, 현재 구현은 역사적 백분위수 기반의 고정 임계값을 사용한다.
• 시간적으로 관련된 특성은 설명 모델에서 제거되어 허위 상관관계를 방지한다.

실험 결과

연구 질문

• RQ1 레이블이 즉각적으로 확보되지 않을 때 비지도 방법이 데이터 스트림에서 개념 드리프트를 탐지할 수 있는가?
• RQ2 시스템이 탐지된 드리프트에 대해 사용자가 루트 케이스를 식별하는 데 도움이 되는 의미 있고 실행 가능한 설명을 생성할 수 있는가?
• RQ3 생성된 경고 보고서가 도메인 전문가에게 진짜 경고와 탐지 가능한 패턴을 얼마나 잘 전달하는가?
• RQ4 다양한 드리프트 특성을 가진 데이터셋 간에 시스템 성능이 달라지는가?
• RQ5 수동 재구성 없이도 시스템이 모델 배포와 같은 급격한 제도 변화를 어떻게 처리하는가?

주요 결과

• 인간 전문가가 비드리프트 이벤트(밸리)에 대한 보고서보다 경고 보고서에 훨씬 더 높은 신뢰도와 명확성 평가를 내렸으며, 통계적으로 유의미한 차이를 보였다.
• 검증 플롯을 확인한 후 전문가들이 초기 경고에 대한 자신감을 더 높게 평가하는 경향이 있었으며, 이는 보고서가 유용한 진단적 통찰을 제공했음을 시사한다.
• 시스템은 약 2,200만 건 이상의 거래와 최대 8개월 분량의 데이터를 포함한 다섯 개인 실세계의 사기 탐지 데이터셋에서 의미 있는 드리프트를 탐지하였다.
• B2 데이터셋에서 신호의 고점은 새로운 모델 배포와 관련이 있었으며, 이는 시스템이 제도 변화에 민감하게 반응함을 확인시켰다.
• 평가 결과, 임계값이 배포 이벤트에 민감할 경우 임계값 오진이 증가할 수 있으며, 향후 작업에서 적응형 임계값 설정의 필요성을 강조하였다.
• 시스템의 설명 보고서는 특히 실제 경고를 식별하는 데 매우 효과적이었으며, 사기 공격 및 인기 판매와 같은 핵심 이벤트에 대해 강력한 전문가 검증을 통과하였다.