[論文レビュー] The Effect of Balancing Methods on Model Behavior in Imbalanced Classification Problems

Adrian Stańdo, Mustafa Çavuş+1 more|arXiv (Cornell University)|Jun 30, 2023

Imbalanced Data Classification Techniques被引用数 6

ひとこと要約

本稿では、分類の不均衡問題に対して、性能だけでなく、説明可能なAI（XAI）ツールを用いたモデル行動への影響を評価するフレームワークを提案する。性能向上プロットと新しい指標（ASDD）を導入し、部分的依存および蓄積局所効果プロファイルの変化を比較することで、Near Miss などの手法が、特に木構造ベースのモデルにおいて、性能向上を達成する一方でモデル行動を顕著に変化させることを明らかにする。

ABSTRACT

Imbalanced data poses a significant challenge in classification as model performance is affected by insufficient learning from minority classes. Balancing methods are often used to address this problem. However, such techniques can lead to problems such as overfitting or loss of information. This study addresses a more challenging aspect of balancing methods - their impact on model behavior. To capture these changes, Explainable Artificial Intelligence tools are used to compare models trained on datasets before and after balancing. In addition to the variable importance method, this study uses the partial dependence profile and accumulated local effects techniques. Real and simulated datasets are tested, and an open-source Python package edgaro is developed to facilitate this analysis. The results obtained show significant changes in model behavior due to balancing methods, which can lead to biased models toward a balanced distribution. These findings confirm that balancing analysis should go beyond model performance comparisons to achieve higher reliability of machine learning models. Therefore, we propose a new method performance gain plot for informed data balancing strategy to make an optimal selection of balancing method by analyzing the measure of change in model behavior versus performance gain.

研究の動機と目的

• データバランス調整手法が性能指標を超えてモデル行動にどのように影響を与えるかを調査すること。
• バランス調整手法がモデルの解釈可能性および意思決定プロセスに与える影響を理解する空白を埋めること。
• 性能向上と最小限の行動変容の両立を図るバランス調整手法の体系的選定手法を開発すること。
• バランス調整手法とXAIツールの評価を統一的に行うためのベンチマークデータセットとワークフローを構築すること。
• モデルの性能と行動変化のトレードオフを透明かつ再現可能に評価するフレームワークを提供すること。

提案手法

• 部分的依存プロファイル（PDP）および蓄積局所効果（ALE）プロファイルを用いて、バランス調整前後におけるモデル行動の変化を分析する。
• 特徴量ごとのモデル行動変化を数量化するための新規指標、SDD（依存の標準化差分）を導入する。
• 予測性能（バランス精度）とモデル行動変化（ASDD値）のトレードオフを可視化するための性能向上プロットを採用する。
• データバランス調整、モデル学習、XAI分析ワークフローを統合するオープンソースのPythonパッケージ「edgaro」を開発する。
• 真の値が既知のシミュレーテッドデータセットと実世界の不均衡データセットの両方を用いて実験を実施し、結果の妥当性を検証する。
• 観察されたモデル行動および性能の変化の統計的有意性を評価するため、FDR補正を施したWilcoxon符号順位検定を適用する。

実験結果

リサーチクエスチョン

• RQ1 異なるデータバランス調整手法が、部分的依存および蓄積局所効果プロファイルの変化として測定されたモデル行動にどのように影響を与えるか。
• RQ2 Near Miss やランダムアンダーサンプリングなどのバランス調整手法が、特徴量と予測値の間の学習済み関係をどの程度歪めるか。
• RQ3 統一された指標（ASDD）は、データバランス調整によるモデル行動変化の大きさを効果的に数量化できるか。
• RQ4 ロジスティック回帰、ランダムフォレスト、XGBoost などの異なるアルゴリズムにおいて、バランス調整による性能向上とモデル行動変化の相関関係はいかなるか。
• RQ5 性能向上プロットは、性能と行動安定性の両方を最適化するバランス調整手法の選定に有効な意思決定ツールとして利用できるか。

主な発見

• ランダムアンダーサンプリングは、シミュレーテッドデータおよび実データの両方において、バランス精度という観点で一貫して最高の性能向上を示す。
• Near Miss 法は、特にランダムフォレストおよびXGBoostモデルにおいて、ASDD値で測定されたモデル行動変化が最大である。
• ロジスティック回帰モデルは木構造ベースのモデルに比べASDD値が低く（行動変化が少ない）が、依然として特徴量依存プロファイルに顕著なシフトを示す。
• 性能向上プロットは、性能向上が著しい手法（例：ランダムアンダーサンプリング）が、特に高不均衡状況において顕著な行動変化を伴うことを明らかにする。
• 元のデータ分布における分散および不均衡比が高くなるほど、バランス調整によるモデル行動への影響が増大する。
• 性能向上プロットは、中程度の性能向上を示すものの行動変化リスクが著しいNear Missのリスクを効果的に可視化している。