[論文レビュー] Evaluating Model Robustness to Dataset Shift.

Adarsh Subbaswamy, Roy J. Adams+1 more|arXiv (Cornell University)|Oct 28, 2020

Machine Learning in Healthcare参考文献 3被引用数 9

ひとこと要約

本論文は、条件付き分布シフトを通じて可能な分布の不確実性集合を定義することにより、1つの固定された評価データセットを用いて機械学習モデルのデータセットシフトに対するロバストネスを評価するフレームワークを提案する。緩和された推定器を導入することで、ノイズパラメータの推定がゆっくり収束する場合でも√N-一貫性を維持でき、実世界の医療リスク予測タスクにおける悪化した性能推定を信頼性を持って行える。

ABSTRACT

As the use of machine learning in safety-critical domains becomes widespread, the importance of evaluating their safety has increased. An important aspect of this is evaluating how robust a model is to changes in setting or population, which typically requires applying the model to multiple, independent datasets. Since the cost of collecting such datasets is often prohibitive, in this paper, we propose a framework for evaluating this type of robustness using a single, fixed evaluation dataset. We use the original evaluation data to define an uncertainty set of possible evaluation distributions and estimate the algorithm's performance on the distribution within this set. Specifically, we consider distribution shifts defined by conditional distributions, allowing some distributions to shift while keeping other portions of the data distribution fixed. This results in finer-grained control over the considered shifts and more plausible worst-case distributions than previous approaches based on covariate shifts. To address the challenges associated with estimation in complex, high-dimensional distributions, we derive a debiased estimator which maintains $\sqrt{N}$-consistency even when machine learning methods with slower convergence rates are used to estimate the nuisance parameters. In experiments on a real medical risk prediction task, we show that this estimator can be used to evaluate robustness and accounts for realistic shifts that cannot be expressed as covariate shift. The proposed framework provides a means for practitioners to proactively evaluate the safety of their models using a single validation dataset.

研究の動機と目的

• 医療分野など安全が求められる分野において、データセットシフトが一般的であることを踏まえ、モデルの安全性を評価するニーズが高まっていることに動機付けられる。
• 複数の独立したデータセットを収集してロバストネスを評価するという課題に直面するが、その収集はしばしば費用がかかりすぎる。
• 共変量シフトではなく、条件付き分布のシフトをモデル化することで、より細かく現実的な最悪ケースのロバストネス評価を可能にする。
• 追加のデータ収集を必要とせず、実務家が前もってモデルの安全性を評価できる実用的な1データセットソリューションを提供する。

提案手法

• 元のデータセットに基づき、条件付き分布のシフトに注目しながらも、データ分布の一部を固定したまま、可能な評価分布の不確実性集合を定義する。
• 条件付き分布を介して分布シフトをモデル化することで、考慮するシフトの種類に対してより現実的で細かく制御可能な方法を可能にする。
• ノイズパラメータが機械学習モデルを用いて推定されるが、収束が遅い場合でも√N-一貫性を維持する緩和された推定器を導出する。
• 緩和された推定器を用いて、不確実性集合全体における最悪ケースのモデル性能を推定し、現実的な分布シフト下でのロバストネス評価を可能にする。
• 実際の医療リスク予測タスクにこのフレームワークを適用し、共変量シフトとして表現できないシフトを捉える有効性を検証する。

実験結果

リサーチクエスチョン

• RQ1 追加のデータ収集を要せず、1つの固定されたデータセットを用いて、現実的な分布シフトに対するモデルのロバストネスを評価できるか？
• RQ2 条件付き分布シフトをどのようにモデル化すれば、共変量シフトモデルに比べてより現実的で細かく制御可能な最悪ケース性能推定が可能になるか？
• RQ3 ノイズパラメータが収束が遅い機械学習手法で推定される場合でも、緩和された推定器が√N-一貫性を維持できるか？
• RQ4 提案されたフレームワークは、従来の共変量シフト仮定では捉えきれないシフトをどの程度検出・定量できるか？

主な発見

• 提案されたフレームワークにより、追加のデータ収集を要せず、1つのバリデーションデータセットのみでロバストネス評価が可能となり、高コストな複数分布へのデータ収集の必要性が排除された。
• 条件付き分布シフトをモデル化することで、従来の共変量シフト仮定に比べ、より現実的で洗練された分布シフトを捉えることができた。
• ノイズパラメータが収束が遅いモデルで推定されても、緩和された推定器は√N-一貫性を維持し、信頼性のある性能推定を可能にした。
• 実際の医療リスク予測タスクにおいて、共変量シフトとして表現できないシフトの下でも、ロバストネスの問題を効果的に特定した。これは、本フレームワークの実用的有用性を示している。