[論文レビュー] Detecting Concept Drift With Neural Network Model Uncertainty

Lucas Baier, Tim Schlör+2 more|arXiv (Cornell University)|Jul 5, 2021

Data Stream Mining Techniques被引用数 14

ひとこと要約

本稿では、真のラベルが入手困難なリアルワールドの機械学習デプロイメントにおいて、予測不確実性をモンテカルロドロップアウトを用いて推定し、ADWINアルゴリズムを適用してリアルタイムで分布シフトを検出する、新たな概念ドリフト検出手法である不確実性ドリフト検出（UDD）を提案する。UDDは、回帰および分類の両タスクにおいて、10個の実世界データセットと2つの合成データセットで最先端の手法を上回り、最小限のラベルアクセスで効率的な再訓練を可能にする。

ABSTRACT

Deployed machine learning models are confronted with the problem of changing data over time, a phenomenon also called concept drift. While existing approaches of concept drift detection already show convincing results, they require true labels as a prerequisite for successful drift detection. Especially in many real-world application scenarios-like the ones covered in this work-true labels are scarce, and their acquisition is expensive. Therefore, we introduce a new algorithm for drift detection, Uncertainty Drift Detection (UDD), which is able to detect drifts without access to true labels. Our approach is based on the uncertainty estimates provided by a deep neural network in combination with Monte Carlo Dropout. Structural changes over time are detected by applying the ADWIN technique on the uncertainty estimates, and detected drifts trigger a retraining of the prediction model. In contrast to input data-based drift detection, our approach considers the effects of the current input data on the properties of the prediction model rather than detecting change on the input data only (which can lead to unnecessary retrainings). We show that UDD outperforms other state-of-the-art strategies on two synthetic as well as ten real-world data sets for both regression and classification tasks.

研究の動機と目的

• 真のラベルが入手困難または高コストとなるリアルワールドの機械学習デプロイメントにおける概念ドリフト検出の課題に対処すること。
• 従来の誤差率ベースのアプローチとは異なり、真のラベルに依存しないドリフト検出手法の開発。
• 深層ニューラルネットワークからの不確実性推定を用いて、回帰および分類タスクの両方で効果的な概念ドリフト対処を可能にすること。
• 入力データの分布シフトに加えて、モデルの挙動に基づいてドリフトを検出することで、不要な再訓練を減らすこと。

提案手法

• 推論時におけるドロップアウトの適用により確率的出力を得るモンテカルロドロップアウトを用いて、深層ニューラルネットワークの予測不確実性を推定する。
• 複数回の順方向伝搬におけるドロップアウト下での不確実性を、分類タスクではエントロピー、回帰タスクでは分散によって計算する。
• 不確実性値のストリームにADWIN変化検出アルゴリズムを適用し、時間経過に伴う構造的変化を同定する。
• ドリフト検出時にモデル再訓練をトリガーし、微調整に制限された真のラベルへのアクセスを仮定する。
• 不確実性のデシル（十進分位数）を用いて、不確実性と予測誤差の相関関係を検証し、不確実性がモデル信頼性の代理として有効であることを確認する。
• 分類タスクと回帰タスクの両方をカバーするため、不確実性計算を適宜調整する。

実験結果

リサーチクエスチョン

• RQ1 真のラベルにアクセスできないリアルワールドの機械学習デプロイメントにおいて、概念ドリフトを信頼性を持って検出できるか？
• RQ2 モンテカルロドロップアウトから得られるモデルの不確実性は、入力データに基づくドリフト検出と比較して、概念ドリフト検出においてどのように異なるか？
• RQ3 不確実性に基づくドリフト検出は、入力分布に基づく手法と比較して、不要な再訓練の回数を減らせるか？
• RQ4 UDDは、回帰および分類の両設定において、多様なドリフト特性を示す多様な実世界データセットでどのように性能を発揮するか？
• RQ5 不確実性は、概念ドリフト検出における予測誤差の信頼できる代理指標として機能できるか？

主な発見

• UDDは、回帰および分類タスクの両方において、全10の実世界データセットですべてのベースライン手法を上回り、8つの分類データセットのうち7つで最高の予測性能を達成した。
• KDDCUP99データセットでは、UDDは再訓練をたった16回で実施したが、KSWIN(unl.)戦略は345回にのぼったが、同等の予測性能を維持した。
• ADWINは真のラベルを完全に利用可能としているにもかかわらず、UDDはInsects Abrupt、Insects IncAbr、Gas Sensorの3つのデータセットでADWINを上回った。
• 不確実性デシルと予測性能の関係を確認した結果、高い不確実性は低い精度および高いRMSEと相関しており、不確実性が誤差の信頼できる代理指標であることが裏付けられた。
• 固定の再訓練スケジュールを採用する「無知な再訓練戦略」は、KSWINや他のラベル集約型手法をしばしば上回った。これは、ラベル集約型アプローチの非効率性を示している。
• UDDは、事前にドリフトの種類を知らなくても、急激なドリフトや段階的ドリフトを含む多様なデータタイプおよびドリフトパターンに対して、強固な性能を示した。