[論文レビュー] Automatic Model Monitoring for Data Streams

Fábio Pinto, Marco O. P. Sampaio+1 more|arXiv (Cornell University)|Aug 12, 2019

Data Stream Mining Techniques被引用数 7

ひとこと要約

本稿では、ラベルが即座に入手できない状況下でも、モデルスコアの分布シフトを用いて概念変化を検出する、データストリームにおける自動モデル監視のための非教師ありストリーミングシステムSAMMを提案する。このシステムは、説明可能なアラームレポートを生成する。5つの実世界の不正検出データセットを用いた評価において、SAMMはアラーム検出の信頼性とレポートの明確さにおいて高い人間の専門家評価を得ており、即時のラベルがなくても意味のある変化を効果的に特定できることを示している。

ABSTRACT

Detecting concept drift is a well known problem that affects production systems. However, two important issues that are frequently not addressed in the literature are 1) the detection of drift when the labels are not immediately available; and 2) the automatic generation of explanations to identify possible causes for the drift. For example, a fraud detection model in online payments could show a drift due to a hot sale item (with an increase in false positives) or due to a true fraud attack (with an increase in false negatives) before labels are available. In this paper we propose SAMM, an automatic model monitoring system for data streams. SAMM detects concept drift using a time and space efficient unsupervised streaming algorithm and it generates alarm reports with a summary of the events and features that are important to explain it. SAMM was evaluated in five real world fraud detection datasets, each spanning periods up to eight months and totaling more than 22 million online transactions. We evaluated SAMM using human feedback from domain experts, by sending them 100 reports generated by the system. Our results show that SAMM is able to detect anomalous events in a model life cycle that are considered useful by the domain experts. Given these results, SAMM will be rolled out in a next version of Feedzai's Fraud Detection solution.

研究の動機と目的

• 生産環境における機械学習システムでラベルが遅延または入手不能な状況下での概念変化検出のギャップを埋める。
• 検出された変化に対して、行動可能な説明を自動生成し、寄与する特徴や出来事象を特定する。
• 高速なデータストリームのリアルタイム監視に適した時間的・空間的効率の高いシステムを設計する。
• ドメイン専門家のフィードバックを用いて人間による評価を通し、実世界での実用的有用性を保証する。

提案手法

• SAMMは、最近のターゲットウィンドウTにおけるモデルスコアの分布と参照ウィンドウRの分布を比較するストリーミング信号Sを用い、概念変化を示すシフトを検出する。
• SPEARと呼ばれる定数時間かつメモリ効率の良いアルゴリズムを採用し、固定バケットを用いた百分位数推定を実現することで、リアルタイム処理を可能にする。
• Sが動的閾値τを超えるとアラームが発動し、別途用意された補助モデルがTとRの間で差を示す特徴を特定する。
• 補助モデルは特徴の重要度スコアと予測の信頼度を出力し、人間が読みやすい説明レポートを生成する。
• システムはレジーム変化に適応するために閾値を動的に調整するが、現在の実装では履歴の百分位数に基づく固定閾値が使用されている。
• 時間的相関を持つ特徴は説明モデルから除外され、誤った相関を避ける。

実験結果

リサーチクエスチョン

• RQ1 ラベルが即座に入手できない状況下でも、非教師あり手法がデータストリームにおける概念変化を検出可能か？
• RQ2 検出された変化に対して、ユーザーが根本原因を特定できるような意味のある行動可能な説明を生成できるか？
• RQ3 生成されたアラームレポートは、ドメイン専門家に対して真のアラームや検出可能なパターンを効果的に伝えることができるか？
• RQ4 異なる変化特性を示すデータセット間で、システムの性能に差が生じるか？
• RQ5 手動による再設定なしに、モデルのデプロイなど急激なレジーム変化に対応できるか？

主な発見

• 人間の専門家は、非変化イベント（谷間）のレポートよりも、アラームレポートに対して有意に高い信頼度と明確さを評価しており、統計的に有意な差が確認された。
• 専門家は検証プロットを確認した後、アラームに対する初期の信頼度を変更する傾向が高かったことから、レポートが有用な診断的インサイトを提供していることが示された。
• 本システムは、2200万件を超える取引と最大8か月分のデータを含む5つの実世界の不正検出データセットで、意味のある変化を検出した。
• データセットB2では、信号の高ピークが新しいモデルのデプロイと関連しており、システムがレジーム変化に感受性を示していることが確認された。
• 評価から、デプロイイベントに対する閾値の感受性が誤検出を増加させる可能性があることが判明し、今後の研究において適応的閾値の導入が不可欠であることが示唆された。
• 説明レポートは、不正攻撃やホットセールスのような重要な出来事象を特定するのに特に効果的であり、専門家の強い検証が得られた。