[論文レビュー] Towards AutoML in the presence of Drift: first results

Jorge G. Madrid, Hugo Jair Escalante+6 more|arXiv (Cornell University)|Jul 24, 2019

Data Stream Mining Techniques参考文献 36被引用数 17

ひとこと要約

本論文は、データストリームにおける概念ずれに対応できるようにAuto-sklearnに拡張を提案し、ずれ検出とモデル適応戦略を統合することで、自動機械学習を進化するデータに適応可能にする。ずれが検出された際に動的にモデルの再訓練または再重み付けを行うことで、ベンチマークおよび実世界のAutoML2チャレンジデータセットにおいて、静的ベースラインと比較して顕著な精度向上を示している。

ABSTRACT

Research progress in AutoML has lead to state of the art solutions that can cope quite wellwith supervised learning task, e.g., classification with AutoSklearn. However, so far thesesystems do not take into account the changing nature of evolving data over time (i.e., theystill assume i.i.d. data); even when this sort of domains are increasingly available in realapplications (e.g., spam filtering, user preferences, etc.). We describe a first attempt to de-velop an AutoML solution for scenarios in which data distribution changes relatively slowlyover time and in which the problem is approached in a lifelong learning setting. We extendAuto-Sklearn with sound and intuitive mechanisms that allow it to cope with this sort ofproblems. The extended Auto-Sklearn is combined with concept drift detection techniquesthat allow it to automatically determine when the initial models have to be adapted. Wereport experimental results in benchmark data from AutoML competitions that adhere tothis scenario. Results demonstrate the effectiveness of the proposed methodology.

研究の動機と目的

• i.i.d.データを前提とするAutoMLシステムにおけるギャップを埋めるために、現実世界の進化するデータストリームにおける概念ずれへの適応を可能にする。
• データ分布が時間とともに変化する生涯学習（LML）設定において、AutoMLの実用性を評価する。
• 概念ずれ検出をAutoMLパイプラインに統合し、モデルの再訓練とアンサンブル重み付けを自動化する。
• AutoMLが段階的または急激な分布シフトを示すデータストリームにおいて、性能を維持または向上させられるかを評価する。

提案手法

• データ分布の変化を検出するとモデル適応をトリガーするずれ検出メカニズムをAuto-sklearnに拡張する。
• 4つの適応戦略を適用：モデル置換、WU-all（過去のすべてのモデルを用いた再重み付け）、WU-latest（最新のモデルのみを用いた再重み付け）、およびAdd new（段階的なモデル追加）。
• バッチベースの評価を用いて性能を監視し、ずれを検出。ずれの確認後、適応を適用する。
• ベイジアン最適化とメタラーニングを組み合わせてハイパーパrameterチューニングを実施し、Auto-sklearnのコアAutoMLパイプラインを維持する。
• ADWINなどの概念ずれ検出器を用いて、データバッチ間の分布シフトを特定する。
• 合成および実世界のデータセットを用いて適応戦略を評価し、静的ベースモデルと性能を比較する。

実験結果

リサーチクエスチョン

• RQ1 AutoMLシステムは、手動による介入なしに、データストリームにおける概念ずれに効果的に適応できるか？
• RQ2 置換や再重み付けなどの異なるモデル適応戦略の性能は、ずれ下でどのように比較されるか？
• RQ3 ずれ検出をAutoMLに統合することで、進化するデータにおける長期的な予測性能が向上するか？
• RQ4 異なるずれ特性（例えば、急激なずれ対、ゆっくりとしたずれ）を持つデータセットにおいて、適応戦略の性能はどのように変化するか？
• RQ5 レコメンデーションシステムやユーザ行動予測など、概念ずれが一般的な実世界のデータストリームにおいて、AutoMLは高い性能を維持できるか？

主な発見

• モデル置換戦略はベースラインを著しく上回り、AutoML2チャレンジのRLデータセットでは精度を47%向上させた。
• WU-all手法はRHデータセットで相対的に73%の向上を達成し、ゆっくりと進化するずれにおいて優れた性能を示した。
• RIデータセットではWU-latest手法が60%以上の性能向上を達成し、ずれ検出器の検出タイミングと整合していることが示唆された。
• Add newモデル戦略は、ずれ前の性能とずれ後の性能のバランスを取れず、精度を維持できなかった。
• 急激なずれを示す合成Staggerデータセットでは、置換を除くすべての手法が失敗し、突然の概念ずれの挑戦性を浮き彫りにした。
• WU-batch手法はバッチ選択に敏感であるため、重み調整に不安定さを示し、性能が不規則になった。