[論文レビュー] Evaluating Robustness to Dataset Shift via Parametric Robustness Sets

Nikolaj Thams, Michael Oberst+1 more|arXiv (Cornell University)|May 31, 2022

Machine Learning and Data Classification参考文献 36被引用数 5

ひとこと要約

本稿では、因果的メカニズムにおける摂動を用いて分布の変化をモデル化することで、妥当なデータセットシフト下でのモデルの頑健性を事前に評価するためのパrametric robustness set（パrametric頑健性集合）を導入する。シフト下での損失関数の2次近似を提案し、非凸二次計画法を用いた効率的な最悪シフト検出を可能にする。近似誤差の理論的バウンディングと、性別分類タスクにおける実験的検証により、非因果的属性のシフトに感受性があることが示された。

ABSTRACT

We give a method for proactively identifying small, plausible shifts in distribution which lead to large differences in model performance. These shifts are defined via parametric changes in the causal mechanisms of observed variables, where constraints on parameters yield a "robustness set" of plausible distributions and a corresponding worst-case loss over the set. While the loss under an individual parametric shift can be estimated via reweighting techniques such as importance sampling, the resulting worst-case optimization problem is non-convex, and the estimate may suffer from large variance. For small shifts, however, we can construct a local second-order approximation to the loss under shift and cast the problem of finding a worst-case shift as a particular non-convex quadratic optimization problem, for which efficient algorithms are available. We demonstrate that this second-order approximation can be estimated directly for shifts in conditional exponential family models, and we bound the approximation error. We apply our approach to a computer vision task (classifying gender from images), revealing sensitivity to shifts in non-causal attributes.

研究の動機と目的

• トレーニングデータとドメイン知識のみを用いて、データセットシフトに対するモデルの頑健性を事前に評価すること。
• 条件付き指数型分布族モデルのパラメトリック摂動を用いて、因果的に解釈可能で現実的である分布シフトの集合を定義すること。
• これらの摂動下で期待損失を最大化する最悪シフトを効率的に特定する手法を開発すること。
• 最も深刻な妥当なシフトを特定することで、モデルの弱みに関する解釈可能で実行可能なインサイトを提供すること。

提案手法

• 観測変数の条件付き分布におけるパラメトリック変化としてデータセットシフトをモデル化し、現実性を保証するための有界なパrameter空間 ∆ を用いる。
• シフトされた分布をトレーニング分布の再重み付けとして表現し、損失推定に重要度サンプリングを可能にする。
• シフト下での期待損失の局所的2次テイラー近似を導出し、高分散の再重み付け推定を回避する。
• 最悪シフト検出問題を、効率的な最適化アルゴリズムで解ける非凸二次制約付き二次計画問題（QCQP）として定式化する。
• 2次近似の誤差をバウンディングすることで、特定された最悪シフトの信頼性を保証する。
• ガウス分布や離散的条件付き分布を含む、条件付き指数型分布族モデルに本手法を適用し、シフト勾配およびヘッセ行列の閉形式表現を導出する。

実験結果

リサーチクエスチョン

• RQ1 どのようにして、現実的で因果的に解釈可能な分布シフトの集合を、データ生成プロセスの妥当な変化を反映する形で定義できるか？
• RQ2 これらのシフトがモデル性能に与える影響は何か？ また、有界なパrameter空間内での最悪シフトを効率的に特定できるか？
• RQ3 シフト下での損失関数の2次近似は、最悪評価における重要度サンプリングの信頼性が高く、計算的にも効率的な代替手段となるか？
• RQ4 2次近似の誤差は真の最悪損失と比較してどの程度の精度で推定できるか？ また、意味のある敵対的シフトを特定できるか？
• RQ5 モデルは、テストポリシー や人口統計的代理変数といった非因果的属性のシフトに対して、どの程度感受性を示すか？

主な発見

• シフト下での期待損失の2次近似は、特に小さなシフトにおいて、重要度サンプリングの代替手段として信頼性が高く、分散が小さい。
• パrameter空間 ∆ が2次制約である場合、最悪シフト検出問題は非凸QCQPとして効率的に解くことができ、スケーラブルな最適化が可能になる。
• 本手法は、コンピュータビジョンタスクにおいて影響力のある敵対的シフトを効果的に特定し、テストポリシーなどの非因果的属性のシフトに対して高い感受性を示すことを明らかにした。
• 近似誤差の理論的バウンディングにより、小さな摂動下では2次近似が真の最悪損失をよく追跡することが示された。
• 実験では、全健康患者がテストされ、全患者がテストされないという現実的ではないが最悪のシナリオを特定した。これは、モデルの脆弱性を露呈する能力を示している。
• ガウスモデルでは、シフト勾配およびヘッセ行列が閉形式で導出可能であり、平均シフト下での損失の正確な2次近似が可能になる。