[論文レビュー] Estimating and Explaining Model Performance When Both Covariates and Labels Shift

Lingjiao Chen, Matei Zaharia+1 more|arXiv (Cornell University)|Sep 18, 2022

Anomaly Detection Techniques and Applications被引用数 9

ひとこと要約

本稿では、特徴量とラベルの両方の分布シフトを統合的に扱うSparse Joint Shift (SJS) を提案する。SJSは、ラベルなしデータにおけるモデル性能の正確な推定を可能にする。また、SJSを構造的仮定として用いるSJE（Shift Estimation and Explanation）フレームワークを導入し、シフト要因の寄与度を特定する。複数の現実世界のデータセットにおいて、既存手法に比べて顕著にシフト推定誤差を低減する。

ABSTRACT

Deployed machine learning (ML) models often encounter new user data that differs from their training data. Therefore, estimating how well a given model might perform on the new data is an important step toward reliable ML applications. This is very challenging, however, as the data distribution can change in flexible ways, and we may not have any labels on the new data, which is often the case in monitoring settings. In this paper, we propose a new distribution shift model, Sparse Joint Shift (SJS), which considers the joint shift of both labels and a few features. This unifies and generalizes several existing shift models including label shift and sparse covariate shift, where only marginal feature or label distribution shifts are considered. We describe mathematical conditions under which SJS is identifiable. We further propose SEES, an algorithmic framework to characterize the distribution shift under SJS and to estimate a model's performance on new data without any labels. We conduct extensive experiments on several real-world datasets with various ML models. Across different datasets and distribution shifts, SEES achieves significant (up to an order of magnitude) shift estimation error improvements over existing approaches.

研究の動機と目的

• 新規データのラベルが入手できない状況下でも、特徴量とラベルの両方における結合分布シフト下でのモデル性能推定という課題に取り組むこと。
• 非シフトされた特徴量の周辺分布を固定したまま、結合シフトを統合的に捉える統一的モデルを構築すること。
• テストデータにラベルが不要な状況でも、信頼性のある性能推定とシフト要因の寄与度分析を可能にし、実世界の機械学習監視において不可欠である。
• 従来のシフトモデル（ラベルシフトとスパース特徴量シフト）を統合的に一般化し、より柔軟なフレームワークに拡張すること。
• 異なるシフトタイプを有する多様な現実世界のデータセットにおいて、本手法の有効性を実証的に検証すること。

提案手法

• 特徴量とラベルの両方のシフトが、小さなサブセットに限定され、残りの変数はシフト変数を条件として与えた下で条件付き独立であると仮定するSparse Joint Shift (SJS) モデルを提案する。
• 非シフトされた特徴量とラベルの周辺分布によって、結合分布シフトが一意に特定可能である条件（同定可能性条件）を導出する。
• SJSを構造的仮定として用いるSJE（Shift Estimation and Explanation）フレームワークを導入し、ラベルなしデータにおけるモデル性能推定を可能にする。
• ターゲットデータにラベルが不要な状況でも、尤度に基づく最適化アプローチを用いてシフトパラメータと性能指標を推定する。
• 性能変化を個別のシフト要因（例：ラベルシフト対特徴量シフト）に分解する手法を適用し、モデル性能の低下要因を特定する。
• SJSモデルから導かれる制約を用いた経験的リスク最小化を採用し、推定の整合性と頑健性を確保する。

実験結果

リサーチクエスチョン

• RQ1 特徴量とラベルの両方がシフトする状況下で、ラベルなしデータにおけるモデル性能を正確に推定できるか？
• RQ2 ラベルシフトと特徴量シフトの寄与度を、性能劣化全体に占める割合として特定・定量化できるか？
• RQ3 特に特徴量とラベルのスパースなサブセットがシフトする状況下でも、SJSモデルは現実的仮定のもとで同定可能か？
• RQ4 ラベルシフトと特徴量シフトが同時に存在する状況で、SJEは既存手法に比べてシフト推定誤差を低減できるか？
• RQ5 本フレームワークは、モデル性能に及ぼす異なるシフト要因の相対的影響をどのように説明できるか？

主な発見

• SJEは、複数の現実世界のデータセットにおいて、既存手法に比べて最大1桁のシフト推定誤差低減を達成する。
• 本手法は、性能劣化の主な要因を高精度に特定し、ラベルシフトと特徴量シフトの寄与度を明確に区別できる。
• SJS仮定のもとで、非シフト特徴量が弱い相関を示す場合に、モデルは同定可能となり、結合シフト分布の一意な回復が可能である。
• 実証的評価により、医療画像や人種的特徴量シフトを含む、複雑で同時に発生する特徴量とラベルのシフトを持つデータセットにおいて、SJEはベースライン手法を上回る性能を示す。
• 本フレームワークは、ラベルなしデータにおける信頼性の高い性能推定を可能にし、リアルタイムのモデル監視や実稼働への適用に適している。
• SJEは性能変化の解釈可能な寄与度分析を提供し、生産環境における機械学習システムで特定のシフト要因を診断・是正可能にする。