[論文レビュー] Can You Rely on Your Model Evaluation? Improving Model Evaluation with Synthetic Test Data

Boris van Breugel, Nabeel Seedat+2 more|arXiv (Cornell University)|Oct 25, 2023

Topic Modeling被引用数 4

ひとこと要約

本稿では、少数派サブグループや分布シフト下での機械学習モデルの評価を向上させるために、合成テストデータを生成する深層生成モデルフレームワーク「3S-Testing」を提案する。条件付き生成モデルと深層生成アンサンブルによる不確実性評価を活用することで、特に少数サンプル環境下でも、実際のテストデータのみに比べて真の性能をより正確に推定でき、より良いカバレッジを実現する。

ABSTRACT

Evaluating the performance of machine learning models on diverse and underrepresented subgroups is essential for ensuring fairness and reliability in real-world applications. However, accurately assessing model performance becomes challenging due to two main issues: (1) a scarcity of test data, especially for small subgroups, and (2) possible distributional shifts in the model's deployment setting, which may not align with the available test data. In this work, we introduce 3S Testing, a deep generative modeling framework to facilitate model evaluation by generating synthetic test sets for small subgroups and simulating distributional shifts. Our experiments demonstrate that 3S Testing outperforms traditional baselines -- including real test data alone -- in estimating model performance on minority subgroups and under plausible distributional shifts. In addition, 3S offers intervals around its performance estimates, exhibiting superior coverage of the ground truth compared to existing approaches. Overall, these results raise the question of whether we need a paradigm shift away from limited real test data towards synthetic test data.

研究の動機と目的

• 限られた実際のテストデータによる少数派サブグループにおける信頼性の低いモデル評価の課題に対処すること。
• 既存の実際のテストデータでは捉えきれない可能性のある妥当な分布シフト下でのモデル性能の堅牢な評価を可能にすること。
• 高リスクな表形式機械学習応用における、細分化された、信頼性が高く、不確実性を伴う性能推定を提供するフレームワークの開発。
• サブグループ間の性能格差を隠す平均性能指標への過剰依存を軽減すること。
• 合成テストデータが、希少またはシフトしたサブグループにおける真のモデル性能を推定する際に、実際のテストデータを上回ることを示すこと。

提案手法

• 3S-Testingは、感受性または運用的特徴（例：人種、年齢、職業タイプ）によって定義される特定のサブグループ向けに、条件付き深層生成モデルを用いてテストデータを合成する。
• フレームワークは、生成プロセスにおける不確実性をモデル化するための深層生成アンサンブル（DGE）を用い、性能推定値の周囲に予測区間を生成する。
• 条件付き生成は、ユーザーが指定したサブグループ条件や分布シフトのターゲット（例：平均年齢の上昇、非米国出身者の割合の増加）に従って制御される。
• フレームワークは、最小限の入力（例：サブグループ定義）と事前知識（例：ターゲットシフト分布）の両方をサポートし、柔軟な展開を可能にする。
• 性能は、平均絶対誤差（MAE）や予測区間内での真の性能のカバレッジといった指標を用いて評価される。
• 本手法は、Adultなどの表形式データセットを用いて検証され、実際のテストデータやバギングやロジスティック回帰といったベースライン手法と比較されている。

Figure 1 : Limitation of testing with real data (Adult dataset): Insufficient real test samples result in imprecise performance estimates when (i) testing underrepresented subgroups (e.g. Black) and (ii) testing effect of a shift (e.g increased age)

実験結果

リサーチクエスチョン

• RQ1 限られた実際のテストサンプルを持つ少数派サブグループにおけるモデル性能推定の正確性を、合成テストデータが向上させることができるか？
• RQ2 実際のテストセットに存在しない分布シフト下でも、合成データがモデル性能をどれほど正確に捉えることができるか？
• RQ3 3S-Testingが生成する予測区間は、特にデータが少ない環境下でも真の性能を信頼できる範囲にカバーしているか？
• RQ4 3S-Testingは、実際のテストデータやベースライン手法と比較して、サブグループ性能とシフト感受性の推定においてどのように優れているか？
• RQ5 合成データは、安全性が求められる応用分野におけるモデル信頼性の過剰評価リスクをどの程度低減できるか？

主な発見

• 3S-Testingは、実際のテストデータのみに比べて、少数サブグループにおける真のモデル性能推定において顕著に優れており、平均絶対誤差（MAE）が著しく低い（例：Adultデータセットの1%サブグループでは、3Sが1.11 ± 0.71、実データが8.61）。
• 3S-Testingが生成する予測区間は、真の性能を優れたカバレッジで捉えており、サブグループ全体で95%のカバレッジ率を達成。ベースライン手法はしばしばカバレッジ不足や過剰カバレッジを示す。
• 平均年齢の上昇や非米国出身者割合の増加といった分布シフトに対して、3S-Testingは実データやベースライン手法よりもより正確な性能推定を生成する。
• フレームワークは、実データがスパarsityのため失敗するが、交差サブグループ（例：週80時間以上勤務の自営業者）における性能低下を的確に特定する。
• 3S-Testingを用いて生成されたモデル感受性曲線は、教育年数の増加やBlack系の人々の割合の増加に伴う性能低下傾向といった、運用範囲全体での性能トレンドを明らかにする。
• 3S-Testingは、最小限の入力（サブグループ定義のみ）と知識強化設定（ターゲットシフト分布）の両方で、多様な状況において堅牢であることが示され、広範な適用可能性を示している。

(a) Original data