[論文レビュー] Diagnosing Model Performance Under Distribution Shift

Tiffany Tiffany, Hongseok Namkoong+1 more|arXiv (Cornell University)|Mar 3, 2023

Artificial Intelligence in Healthcare被引用数 5

ひとこと要約

本稿では、分布シフト下での機械学習モデルの性能低下を3つの要因に分解する診断フレームワークであるDIstribution Shift DEcomposition（DISDE）を提案する。その要因とは、共有共変量空間内でのハード例の頻度上昇、ラベル–特徴関係（$Y\mid X$）の変化、およびレアまたは未観測の共変量への一般化の悪さである。本手法は二値ドメイン分類器を用いて定義される共有分布を用い、これらの寄与要因を分離・定量可能にすることで、実世界の展開環境における的確なモデル改善を可能にする。

ABSTRACT

Prediction models can perform poorly when deployed to target distributions different from the training distribution. To understand these operational failure modes, we develop a method, called DIstribution Shift DEcomposition (DISDE), to attribute a drop in performance to different types of distribution shifts. Our approach decomposes the performance drop into terms for 1) an increase in harder but frequently seen examples from training, 2) changes in the relationship between features and outcomes, and 3) poor performance on examples infrequent or unseen during training. These terms are defined by fixing a distribution on $X$ while varying the conditional distribution of $Y \mid X$ between training and target, or by fixing the conditional distribution of $Y \mid X$ while varying the distribution on $X$. In order to do this, we define a hypothetical distribution on $X$ consisting of values common in both training and target, over which it is easy to compare $Y \mid X$ and thus predictive performance. We estimate performance on this hypothetical distribution via reweighting methods. Empirically, we show how our method can 1) inform potential modeling improvements across distribution shifts for employment prediction on tabular census data, and 2) help to explain why certain domain adaptation methods fail to improve model performance for satellite image classification.

研究の動機と目的

• 機械学習モデルが分布シフト下で展開された際の性能低下の根本原因を特定すること。
• データ分布およびモデル行動の変化に関連する、明確で解釈可能な成分に性能低下を分解すること。
• 失敗モードを特定の種類の分布シフト（例：共変量シフトやコンセプトドリフト）に帰属させることで、モデル改善を支援すること。
• 検出を越えて『なぜ』性能が低下するかを説明できるスケーラブルな診断ツールを提供すること。
• 訓練、展開、運用における分布間でモデルの信頼性を評価・向上するための原則的フレームワークを確立すること。

提案手法

• 二値ドメイン分類器を用いて、訓練分布とターゲット分布に共通する共変量$X$の共有分布$S_X$を定義する。
• 共有分布に対する性能低下を推定し、3つの成分に分解する：(1) $S_X$内でのハード例の頻度上昇、(2) $S_X$上での$Y\mid X$のシフト、(3) レアまたは未観測の$X$値に対する性能の悪化。
• 因果推論におけるプロパティススコアに類似した重み付けスキームを用い、重複領域におけるモデル性能の安定的推定を保証する共有サポートを定義する。
• 実世界のデータセット（就労予測のための表形式のインカムデータ、および衛星画像分類）を用い、診断的有効性を検証する。
• 共有分布下での経験的リスク最小化を用い、3つの分解項を推定する。損失関数は$\mathbb{E}[\ell(f(X), Y)]$として表現される。
• ベンチマークデータセットを用いた検証を行い、既存のドメイン適応およびロバストネス手法と比較することで、診断的価値を示す。

実験結果

リサーチクエスチョン

• RQ1 性能低下のどの程度が、共有共変量空間内でのハード例の頻度上昇に起因しているか？
• RQ2 共有分布上での性能低下のどの程度が、$Y\mid X$の条件付き関係のシフトに起因しているか？
• RQ3 性能低下のどの程度が、トレーニング時においてまれまたは未観測であった共変量値への一般化の悪さに起因しているか？
• RQ4 この分解フレームワークは、ドメイン適応やその他の手法がなぜ失敗するかを特定できるか、その理由は何か？
• RQ5 この診断は、一般的な再トレーニングや再重み付けではなく、的確なモデル改善にどのように寄与できるか？

主な発見

• DISDEは、表形式のインカムデータを用いた就労予測において、ハード例の頻度上昇と$Y\mid X$のシフトの組み合わせが性能低下の原因であると的確に特定し、特徴工学や再重み付け戦略の立案に寄与した。
• 衛星画像分類の事例では、DISDEが特定のドメイン適応手法がなぜ失敗するかを説明した：主な低下要因は共変量シフトではなく$Y\mid X$のシフトであり、$X$シフトにのみ対応する適応手法では不十分であることが示された。
• フレームワークは、多くの既存の適応手法が前提としている仮定に反し、性能低下の大部分が共変量の周辺的シフトではなく、ラベル–特徴関係（$Y\mid X$）のシフトに起因していることを明らかにした。
• 分解により、性能低下の顕著な部分が、トレーニング時においてまれまたは未観測であった共変量値上に発生していることが判明し、限定的または偏ったデータで学習されたモデルの限界が浮き彫りになった。
• 実験的結果から、DISDEは実行可能なインサイトを提供することが判明した：干渉策は、主な失敗モードに応じて調整されるべきであり、$Y\mid X$シフトには因果モデル、分布外一般化にはデータ収集が適切である。
• 既存の監視システムは劣化を検出するのみで、診断的帰属づけが不十分であることが示された。DISDEは、原因の特定を可能にするため、このギャップを埋めている。