[論文レビュー] Model adaptation and unsupervised learning with non-stationary batch data under smooth concept drift

Subhro Das, Prasanth Lade+1 more|arXiv (Cornell University)|Feb 10, 2020

Data Stream Mining Techniques参考文献 27被引用数 4

ひとこと要約

本稿では、滑らかな概念変化の下で非ステーショナリーバッチデータに予測モデルを適応させるための、教師なしで反復的なアルゴリズムを提案する。後方確率分布の変化を定量化する指標を用い、未適応モデルに比べ分類精度を向上させ、SGARCなどの最先端手法と同等またはそれ以上の性能を達成しつつ、著しく短い実行時間を実現した。合成データおよび実世界の製造業分野のデータを用いて検証された。

ABSTRACT

Most predictive models assume that training and test data are generated from a stationary process. However, this assumption does not hold true in practice. In this paper, we consider the scenario of a gradual concept drift due to the underlying non-stationarity of the data source. While previous work has investigated this scenario under a supervised-learning and adaption conditions, few have addressed the common, real-world scenario when labels are only available during training. We propose a novel, iterative algorithm for unsupervised adaptation of predictive models. We show that the performance of our batch adapted prediction algorithm is better than that of its corresponding unadapted version. The proposed algorithm provides similar (or better, in most cases) performance within significantly less run time compared to other state of the art methods. We validate our claims though extensive numerical evaluations on both synthetic and real data.

研究の動機と目的

• 運用中にラベルが入手不可であるが、トレーニングデータはラベル付きであるような現実世界のシナリオにおけるモデル適応の課題に対処すること。
• データポイント間の後方確率分布の変化に基づいて、概念変化の定量化可能な定義を構築すること。
• ラベルが適応段階で利用不可であるにもかかわらず、テストデータと事前に学習済みモデルのみを用いて、モデルパラメータを更新する効率的な反復的アルゴリズムを設計すること。
• 合成および実世界のデータセットを用いて手法を検証し、分類精度の向上と計算コストの低減を示すこと。
• 提案手法がSGARCなどの最先端手法と同等またはそれ以上の精度を達成しながら、著しく高速であることを示すこと。

提案手法

• 本手法は、初期（トレーニング）データと変化した（テスト）データにおける各データポイントの後方確率分布の変化を測定することで、概念変化を定量化する。
• ラベルにアクセスできない状況下で、テストデータと事前に学習済みモデルのみを用いて、モデルパラメータを更新する反復的最適化プロセスを定式化する。
• 安定した更新を保証するため、ステップサイズスケジュール γ^(k) = 50 / √(k+1) と収束閾値 10^−10 を用いる。
• 各データポイントの重要度を、クラス後方確率のシフトを分析することで、変化推定に寄与するように推定する。
• 適応処理はナイーブベイズ分類器に適用されたが、他の分類器に対しても一般化可能である。
• バッチ適応設定（トレーニング後、モデルとテストデータのみが利用可能）を用いて手法を評価する。

実験結果

リサーチクエスチョン

• RQ1 非ステーショナリーデータストリーム下での分類タスクにおいて、概念変化をどのように定量化的に測定できるか？
• RQ2 適応段階でラベルが入手不可である状況下で、ポイントワイズの変化推定がモデル性能に与える影響は何か？
• RQ3 教師なしで反復的な適応アルゴリズムが、監視付き最先端手法と同等またはそれ以上の精度を達成しつつ、著しく短い実行時間で実現可能か？
• RQ4 本手法は、徐々で滑らかな概念変化を示す実世界の製造業データに対して、どのように性能を発揮するか？
• RQ5 バッチモードのモデル適応において、変化の正確さと計算効率のトレードオフは何か？

主な発見

• UG_2C_2D データセットでは、提案手法が 96.08% の分類精度を達成し、SGARC (1NN) の 95.56% や SGARC (SVM) の 95.53% を上回った。
• UG_2C_3D データセットでは、本手法が 95.11% の精度を達成し、SGARC (1NN) の 94.77% や SGARC (SVM) の 94.79% を上回った。
• UG_2C_5D データセットでは、提案手法が 93.65% の精度を達成し、SGARC (1NN) の 90.98% や SGARC (SVM) の 88.24% を上回った。
• 提案手法の平均実行時間は、1データセットあたり 5.20–5.50 秒であり、SGARC (SVM) の 10.11–120.21 秒に比べ顕著な高速性を示した。
• 実際の製造業データセットでは、適応済みモデルが未適応モデルを上回り、監視付きベースラインとも競争力のある性能を示した。これは、現実の概念変化シナリオにおける有効性を示している。
• すべての実験において、アルゴリズムは 10 イテレーション以内に収束した。これは、高速な収束性と低コストの計算負荷を示している。