[論文レビュー] Data-IQ: Characterizing subgroups with heterogeneous outcomes in tabular data

Nabeel Seedat, Jonathan Crabbé+2 more|arXiv (Cornell University)|Oct 24, 2022

Machine Learning in Healthcare被引用数 6

ひとこと要約

Data-IQ は、モデル学習中の予測信頼度とアルエアトロニック不確実性に基づき、表形式データを Easy、Ambiguous、Hard の3つのサブグループに体系的に階層化するフレームワークを提案する。これにより、多様なアーキテクチャにかかわらず堅牢でモデルに依存しないデータ品質のイン sights が得られ、データ品質の向上、特徴量収集、モデルデプロイメントの改善が可能になる。同じサブグループの識別がモデル間で一貫する。

ABSTRACT

High model performance, on average, can hide that models may systematically underperform on subgroups of the data. We consider the tabular setting, which surfaces the unique issue of outcome heterogeneity - this is prevalent in areas such as healthcare, where patients with similar features can have different outcomes, thus making reliable predictions challenging. To tackle this, we propose Data-IQ, a framework to systematically stratify examples into subgroups with respect to their outcomes. We do this by analyzing the behavior of individual examples during training, based on their predictive confidence and, importantly, the aleatoric (data) uncertainty. Capturing the aleatoric uncertainty permits a principled characterization and then subsequent stratification of data examples into three distinct subgroups (Easy, Ambiguous, Hard). We experimentally demonstrate the benefits of Data-IQ on four real-world medical datasets. We show that Data-IQ's characterization of examples is most robust to variation across similarly performant (yet different) models, compared to baselines. Since Data-IQ can be used with any ML model (including neural networks, gradient boosting etc.), this property ensures consistency of data characterization, while allowing flexible model selection. Taking this a step further, we demonstrate that the subgroups enable us to construct new approaches to both feature acquisition and dataset selection. Furthermore, we highlight how the subgroups can inform reliable model usage, noting the significant impact of the Ambiguous subgroup on model generalization.

研究の動機と目的

• 表形式データにおけるアウトカムの異質性、特に医療や金融分野で類似した特徴量が異なる結果をもたらす状況に対処すること。
• 異なるモデルアーキテクチャにわたっても一貫性を保つ、異質なアウトカムを示すサブグループを体系的かつモデルに依存しない方法で同定するための手法を開発すること。
• 学習ダイナミクスに基づくデータ例の特徴付けを通じて、データ収集、データセット選定、信頼性の高いモデルデプロイメントに向けた実行可能なインサイトを提供すること。
• モデルのハイパーパrameter やアーキテクチャの変化に関わらず、サブグループの同定が一貫していることを保証し、モデル性能評価への信頼性を高めること。

提案手法

• モデル学習のダイナミクスを活用し、学習中に各チェックポイントでの個々の例の挙動を分析する。
• 予測信頼度とアルエアトロニック（データ）不確実性を用いて、各例を次の3つのサブグループのいずれかに分類する：Easy（高い信頼度、正しい予測）、Ambiguous（低い信頼度、特徴量が不十分）、Hard（高い信頼度、誤った予測）。
• 本質的なデータレベルのばらつきを捉えるための原則的で不確実性推定手法を採用し、信頼性の高いサブグループ階層化を実現する。
• 中間のモデル状態を分析することで、段階的に学習される任意の機械学習モデル（例：ニューラルネットワーク、勾配ブースティング）をサポートする。
• 異なるモデルパラメータ設定やアーキテクチャ間でのサブグループ割り当ての堅牢性を評価するために、スピアマン相関とオーバーラップ指標を用いる。
• Ambiguous 例のような高影響力サブグループを特定することで、データスカルプティング、特徴量収集、データセット選定といった後続の応用を可能にする。

実験結果

リサーチクエスチョン

• RQ1 モデルアーキテクチャに依存せず、表形式データのアウトカムの異質性に基づいて、データ例をサブグループに体系的に同定・階層化できるか？
• RQ2 同じ性能を示すが異なるアーキテクチャやハイパーパrameterを持つモデル間で、データ例のサブグループ同定はどの程度堅牢か？
• RQ3 サブグループ同定が、標的特徴量収集やデータセット選定といった実用的データ品質改善にどの程度寄与できるか？
• RQ4 Ambiguous サブグループは、実世界でのモデルの一般化性能と信頼性にどのように影響を与えるか？
• RQ5 本フレームワークは、モデル固有の調整を必要とせず、多様な表形式データセットと機械学習モデルに普遍的に適用可能か？

主な発見

• Data-IQ はモデルの変動に対して最も高い堅牢性を示し、スピアマン相関スコアが Covid で 0.93±0.07、Support で 0.92±0.02、Prostate で 0.97±0.01、Fetal で 0.86±0.06 と、Data Maps などのベースラインを顕著に上回った。
• 90% 以上のデータ例が、異なるモデルパラメータ設定においても同じサブグループ（Easy、Ambiguous、Hard）に一貫して割り当てられ、平均オーバーラップスコアは Covid で 0.94±0.03、Support で 0.91±0.01、Prostate で 0.95±0.01、Fetal で 0.77±0.14 であった。
• 学習エポック全体を通じた平均重み相関は 0.1±0.02 であり、重み相関が低く安定したダイナミクスであることを示し、学習挙動分析の信頼性を裏付けた。
• データスカルプティング実験では、バランスデータセットから最大 500 個の Ambiguous サンプル（サブグループの 100%）を削除したところ、性能向上が明確に観察され、実用的価値を示した。
• Ambiguous サブグループはモデルの一般化に顕著な影響を及ぼし、その同定により標的特徴量収集とモデル信頼性の向上が可能である。
• 本フレームワークは、多様なモデル間で一貫性があり、原則的かつ実行可能なデータ特徴付けを可能にし、強い安定性とモデル固有の選択に敏感でない特性を示した。