[論文レビュー] Adversarial Validation Approach to Concept Drift Problem in User Targeting Automation Systems at Uber

Jing Pan, Vincent Pham+3 more|arXiv (Cornell University)|Apr 7, 2020

Data Stream Mining Techniques参考文献 15被引用数 9

ひとこと要約

この論文では、Uberのユーザターゲティング自動化システムにおける概念的ずれを検出および緩和するための敵対的検証アプローチを提案している。敵対的分類器を用いて訓練データとテストデータ間の分布シフトを特定し、判別性の高い特徴量の選択またはデータの再重み付けによってモデル性能を向上させている。敵対的特徴選択は、公開データセットおよび社内データセットの両方で他の手法を上回る性能を示した。

ABSTRACT

In user targeting automation systems, concept drift in input data is one of the main challenges. It deteriorates model performance on new data over time. Previous research on concept drift mostly proposed model retraining after observing performance decreases. However, this approach is suboptimal because the system fixes the problem only after suffering from poor performance on new data. Here, we introduce an adversarial validation approach to concept drift problems in user targeting automation systems. With our approach, the system detects concept drift in new data before making inference, trains a model, and produces predictions adapted to the new data. We show that our approach addresses concept drift effectively with the AutoML3 Lifelong Machine Learning challenge data as well as in Uber's internal user targeting automation system, MaLTA.

研究の動機と目的

• 特徴量の分布が時間とともに変化する大規模なユーザターゲティング自動化システムにおける概念的ずれを解決すること。
• モデル推論の前に、訓練データとテストデータ間の分布差を検出することで、事前適応を可能にすること。
• 性能低下を待たずに、敵対的学習技術を活用して新しいデータに対するモデルの汎化性能を向上させること。
• 実世界およびベンチマークデータセットを用いて、3つの敵対的検証手法（特徴選択、検証データ選択、逆プロパティス重量子）を評価・比較すること。
• 敵対的特徴選択が、高ノイズ・大規模環境において、従来のプロパティススコアベース手法よりもより強固で効果的であることを示すこと。

提案手法

• 訓練データとテストデータの分布を区別する敵対的分類器を訓練し、モデル性能を分布シフトの指標として用いる。
• 敵対的分類器の注視度（attention）を用いて、分布差の原因となっている特徴量を特定し、テストデータにおけるモデルの汎化性能を向上させる。
• 逆プロパティス重量子（IPW）を適用して、テスト分布に属する可能性が高い訓練サンプルの重みを再調整し、ドメインシフトを低減する。
• 訓練サンプルのうち、テストデータ分布に類似しているものをフィルタリングすることで、検証データ選択を実装し、検証性能をテスト性能の代理指標として向上させる。
• 欠損値の処理や複雑な特徴相互作用を扱えるように、GBDT（例：LightGBM）を用いて敵対的検証とモデル学習を統合する。
• 敵対的分類器の出力をシグナルとして活用し、デプロイ前にモデル再訓練と適応を促進することで、事前の概念的ずれ緩和を実現する。

実験結果

リサーチクエスチョン

• RQ1 敵対的検証は、従来の性能低下後に再訓練を行うアプローチよりも、概念的ずれを早期に検出できるか？
• RQ2 実世界のユーザターゲティングシステムにおいて、特徴選択、検証データ選択、IPWの3つの敵対的検証手法は、概念的ずれ緩和においてどのように比較されるか？
• RQ3 なぜ高ノイズ・大規模環境において、敵対的特徴選択がIPWおよび検証データ選択を上回るのか？
• RQ4 分布シフトが発生した場合、敵対的検証は未観測のテストデータにおけるモデル性能をどの程度向上できるか？
• RQ5 敵対的検証をどのようにモデル学習パイプラインに統合することで、生産環境における継続的学習（ライフライン学習）を可能にするか？

主な発見

• 敵対的特徴選択は、UberのMaLTAシステムおよびAutoML3チャレンジデータを含むすべてのデータセットで、検証データ選択およびIPWを一貫して上回った。
• MaLTAデータセットでは、敵対的特徴選択によりテストAUCがベースラインの61.34％から63.05％に上昇し、1.71ポイントの改善が得られた。
• ノイズの多いプロパティススコア推定に依存するのではなく、判別性の高い特徴量に焦点を当てることで、性能推定の分散を低減した。
• IPWはバイアスを低減したが、逆プロパティス重量子推定のノイズの影響で分散が大きく、性能が劣った。
• 検証データ選択は検証AUCをわずかに向上させたが、特徴選択ほど汎化性能が高くならず、代理指標に基づく検証の限界を示した。
• 本研究は、敵対的検証の品質が、下流のモデル学習手法よりも重要であることを示唆しており、強固な特徴識別能力の必要性を強調している。