[論文レビュー] Mandoline: Model Evaluation under Distribution Shift

Mayee Chen, Karan Goel+4 more|arXiv (Cornell University)|Jul 1, 2021

Machine Learning and Data Classification被引用数 10

ひとこと要約

Mandoline は、実務者が定義する「スライシング関数」を活用して密度比推定をガイドすることで、分布シフト下でのパフォーマンス推定を向上させるユーザー主導のモデル評価フレームワークである。スライスベースの重要度重みを用いてソースデータを再重み付けすることにより、標準的な重要度重み付けと比較して推定誤差を最大3倍まで低減し、特に高次元またはサポートが重複しないシフト下で顕著である。

ABSTRACT

Machine learning models are often deployed in different settings than they were trained and validated on, posing a challenge to practitioners who wish to predict how well the deployed model will perform on a target distribution. If an unlabeled sample from the target distribution is available, along with a labeled sample from a possibly different source distribution, standard approaches such as importance weighting can be applied to estimate performance on the target. However, importance weighting struggles when the source and target distributions have non-overlapping support or are high-dimensional. Taking inspiration from fields such as epidemiology and polling, we develop Mandoline, a new evaluation framework that mitigates these issues. Our key insight is that practitioners may have prior knowledge about the ways in which the distribution shifts, which we can use to better guide the importance weighting procedure. Specifically, users write simple "slicing functions" - noisy, potentially correlated binary functions intended to capture possible axes of distribution shift - to compute reweighted performance estimates. We further describe a density ratio estimation framework for the slices and show how its estimation error scales with slice quality and dataset size. Empirical validation on NLP and vision tasks shows that Mandoline can estimate performance on the target distribution up to 3x more accurately compared to standard baselines.

研究の動機と目的

• 訓練データとは異なるターゲット分布における機械学習モデルの評価という課題に取り組む。
• 高次元データやソース・ターゲット分布のサポートが重複しない状況では失敗する標準的重み付け手法の限界を克服する。
• 実務者が潜在的な分布シフトの軸を示すノイズありで相関のあるスライシング関数を定義できるようにすることで、実務知識を活用する。
• 最小限のサポート重複でも現実的な仮定の下で理論的根拠を備えたフレームワークを構築し、誤差の上限を提供する。
• 再訓練を必要とせず、最小限の人的入力（スライシング関数の形式）で、事前学習済みモデルを新しいターゲット分布に対して正確に評価可能にする。

提案手法

• ユーザーが「スライシング関数」——ノイズありで相関のあるバイナリ関数——を定義し、データ内の分布シフトの可能性のある軸（例：言語的パターンやメタデータ）を特定する。
• フレームワークはソースおよびターゲットデータをスライス空間に射影することで次元削減を実現し、特徴量ベースの手法と比較してより安定した密度比推定を可能にする。
• スライス間の相関関係や不完全性を表現するためにグラフィカルモデルを用い、ユーザーのスライス品質に対する信頼度を組み込んで耐性を高める。
• スライスの信頼性に関する事前知識を活用して、ノイズや不完全なスライスによる影響を低減するように LL-KLIEP を拡張し、密度比推定のノイズ除去を行う。
• 推定されたスライスレベルの密度比を用いて、ラベル付きソースデータを再重み付けすることで、ターゲット分布におけるパフォーマンスを推定する。
• 理論的分析により、推定誤差のバイアス・バリアンス分解を提示し、バイアスがスライス品質に依存し、バリアンスがデータサイズおよび分布的性質に依存することを示す。

実験結果

リサーチクエスチョン

• RQ1 ターゲットデプロイ分布が訓練分布と著しく異なる状況で、モデル評価をどのように改善できるか？
• RQ2 ユーザー定義のスライシング関数は、分布シフト下での重要度重み付けにおける推定誤差をどの程度低減できるか？
• RQ3 スライシング関数がノイズあり、相関関係があり、不完全な場合、このフレームワークの性能はいかがなるか？
• RQ4 密度比推定のノイズ除去メカニズムは、低品質なスライシング関数に対する耐性を向上させられるか？
• RQ5 サポートシフト下で標準的重み付け手法が失敗する状況において、再重み付けベースの評価に理論的保証を与えることは可能か？

主な発見

• スライシング関数が分布シフトを完全に捉えられる場合、Mandoline は標準的重み付けベースラインと比較して推定誤差を最大3倍まで低減する。
• ノイズありまたは不完全なスライシング関数でさえも、Mandoline は最小限のパフォーマンス低下を示し、不完全なユーザー入力に対しても耐性があることを実証した。
• 高次元設定下でも、標準的重み付け手法が密度比推定の分散が高いために失敗するのに対し、Mandoline は低誤差を維持する。
• 理論的分析により、現実的な仮定の下で推定誤差が有界であることが確認され、バイアスはスライス品質に依存し、バリアンスはデータサイズおよび分布的性質に依存する。
• 自然言語処理およびコンピュータビジョンタスクにおける実験的評価により、Mandoline がターゲット分布におけるモデルパフォーマンス推定において、既存のベースラインを上回ることを確認した。