[論文レビュー] Sampling To Improve Predictions For Underrepresented Observations In Imbalanced Data

Rune D. Kjærsgaard, Manja Gersholm Grønberg+1 more|arXiv (Cornell University)|Nov 17, 2021

Imbalanced Data Classification Techniques参考文献 7被引用数 4

ひとこと要約

本論文は、不均衡な生産データにおける代表されない入力領域のモデル性能を向上させるために、サンプリングに基づくデータ拡張を提案する。3つの戦略を用いる：(a) データエッジ付近でのランダムサンプリング、(b) 高密度領域でのランダムサンプリング、(c) 密度に基づく重み付きサンプリング。結果として、全体のRMSEはわずかに~3%増加するが、すべての手法が代表されない観測値（特に低密度領域）の予測を顕著に改善する。密度ベースのサンプリングが特に顕著であり、不均衡データに対して公平な評価アプローチの必要性が示された。

ABSTRACT

Data imbalance is common in production data, where controlled production settings require data to fall within a narrow range of variation and data are collected with quality assessment in mind, rather than data analytic insights. This imbalance negatively impacts the predictive performance of models on underrepresented observations. We propose sampling to adjust for this imbalance with the goal of improving the performance of models trained on historical production data. We investigate the use of three sampling approaches to adjust for imbalance. The goal is to downsample the covariates in the training data and subsequently fit a regression model. We investigate how the predictive power of the model changes when using either the sampled or the original data for training. We apply our methods on a large biopharmaceutical manufacturing data set from an advanced simulation of penicillin production and find that fitting a model using the sampled data gives a small reduction in the overall predictive performance, but yields a systematically better performance on underrepresented observations. In addition, the results emphasize the need for alternative, fair, and balanced model evaluations.

研究の動機と目的

• 制御された条件下で変動が限られているデータ収集における、不均衡な生産データにおける代表されない入力領域での予測性能の低さという課題に対処すること。
• サンプリング戦略が入力空間を再バランスさせ、とりわけレアケースやエッジケースの観測値に対してモデルの一般化性能を向上させられるかどうかを調査すること。
• 連続的ターゲットを持つ回帰タスクにおいて、全体のモデル性能と代表されないデータポイントへの公平性のトレードオフを評価すること。
• 不均衡データ設定における公平なモデル評価のため、代表されない領域に焦点を当てた代替評価指標が不可欠であることを示すこと。

提案手法

• 3つのサンプリング戦略を提案する：(a) 入力ハイパーレクタングル内でのランダムサンプリング後、最近傍点を選択する；(b) ハイパーレクタングル内でのランダムサンプリング後、5個の最近傍点の特徴量を平均化する；(c) 最近傍点までの逆距離をサンプリング重みとして用いる密度ベースのサンプリング。
• これらのサンプリング手法を用いて、元のトレーニングデータの20%（エッジサンプリング10%、高密度領域サンプリング10%）の新しいよりバランスの取れたトレーニングセットを生成する。
• サンプルドトレーニングデータ上で線形回帰モデルを学習し、テストデータにおける平均二乗誤差（RMSE）を用いて、元の完全なトレーニングセットで学習したモデルと性能を比較する。
• 主成分分析（PCA）を用いてデータ分布を可視化し、特にバイオ医薬品バッチにおけるプロセスのずれに関連する低密度（代表されない）領域を特定する。
• トレーニングセット内での100個の最近傍点までの平均距離を用いて代表されなさを測定し、距離が長いほど密度が低く、代表されない状態であると判断する。
• テストデータ全体を通じて、完全データモデルとサンプルドモデルの残差を比較し、特に低密度領域における性能差に注目する。

実験結果

リサーチクエスチョン

• RQ1 入力空間を再バランスさせるサンプリング戦略は、不均衡な回帰データにおける代表されない観測値の予測性能を向上させられるか？
• RQ2 サンプルドデータで学習したモデルの性能は、完全な元データセットで学習したモデルと比較して、全体のRMSEおよび代表されない領域における性能でどのように異なるか？
• RQ3 ランダムエッジサンプリング、ランダム高密度領域サンプリング、密度ベースのサンプリングのうち、どの戦略が全体の性能と低密度領域への公平性の間で最も望ましいトレードオフを達成するか？
• RQ4 標準的なRMSE評価が不均衡なテストセットで、代表されないデータポイントにおける悪い性能をどれほど隠蔽しているか、また、代替の評価アプローチは何か？

主な発見

• 密度ベースのサンプリング手法が、3つのサンプリング戦略の中で最も低い全体のRMSEを達成し、入力空間全体におけるより良い一般化性能を示した。
• 完全な不均衡テストセットでは、すべてのサンプリング手法が完全データモデルと比較してRMSEが約3%増加したが、これは全体性能にわずかだが測定可能なトレードオフがあることを示している。
• 100個の最近傍点までの平均距離で測定した10%最も代表されない観測値では、すべてのサンプリング戦略が完全データモデルと比較してRMSEを顕著に低減した。これは、低密度領域での性能向上を示している。
• PCAを用いた可視化により、代表されない観測値が主にプロセスのずれを示すバッチ（例：バッチ91～100）に由来する低密度領域に集中していることが明らかになった。これらの領域では、サンプリングによる性能向上が最大であった。
• 密度ベースのサンプリング手法は、特にPCAプロットの左上および右下のエッジ領域で、低密度領域全体にわたり一貫した改善を示した。この領域では、完全データモデルと比較して残差が常に小さくなった。
• 結果から、不均衡データにおける標準的なRMSE評価の重大な限界が浮き彫りになった。RMSEは代表されやすい領域に偏り、代表されないが、おそらくより重要な観測値における悪い性能を隠蔽する可能性がある。