[論文レビュー] Beyond Random Split for Assessing Statistical Model Performance

Carlos Catania, J.E. Castillo Guerra+3 more|arXiv (Cornell University)|Sep 4, 2022

Neural Networks and Applications被引用数 4

ひとこと要約

本稿では、データセットが非代表的である場合、特にレアまたは難易度の高い例に対して一般化誤差推定を向上させるために、非ランダムなデータ分割戦略——差異に基づく、インフォームドベースの、クラスタリングに基づく——を提案する。CTU19ボットネットデータセットと2つの木ベースの分類器を用いた研究では、特に代表的でない状況下で、標準的なモンテカルロ分割よりも、クラスタリングベースおよびインフォームドベースの戦略がより現実的で楽観的でない性能推定を提供することが示された。

ABSTRACT

Even though a train/test split of the dataset randomly performed is a common practice, could not always be the best approach for estimating performance generalization under some scenarios. The fact is that the usual machine learning methodology can sometimes overestimate the generalization error when a dataset is not representative or when rare and elusive examples are a fundamental aspect of the detection problem. In the present work, we analyze strategies based on the predictors' variability to split in training and testing sets. Such strategies aim at guaranteeing the inclusion of rare or unusual examples with a minimal loss of the population's representativeness and provide a more accurate estimation about the generalization error when the dataset is not representative. Two baseline classifiers based on decision trees were used for testing the four splitting strategies considered. Both classifiers were applied on CTU19 a low-representative dataset for a network security detection problem. Preliminary results showed the importance of applying the three alternative strategies to the Monte Carlo splitting strategy in order to get a more accurate error estimation on different but feasible scenarios.

研究の動機と目的

• 非代表的データセットに対してランダムな訓練/テスト分割を用いる場合の一般化誤差の過大評価を是正すること。
• 希少または異常な例が不足している状況において、さまざまなデータ分割戦略がモデル性能推定に与える影響を評価すること。
• 標準的なランダム分割と比較して、予測子に基づくサンプリング戦略が一般化誤差推定の正確性を向上させられるかどうかを評価すること。
• 特にネットワークセキュリティ検出タスクにおいて、データの代表的さの変動に応じたモデルの頑健性を評価するフレームワークを提供すること。
• 代替的分割戦略が、代表的でない状況下で、標準的なモンテカルロ分割と比較してより楽観的でない、より現実的な性能推定を提供することを実証すること。

提案手法

• モンテカルロ（ランダム分割）、差異に基づく（訓練およびテストサンプル間の距離を最大化）、インフォームドベース（グループレベルの情報を用いてテストセットを分離）、クラスタリングベース（k-meansを用いて予測子空間を分割）の4つのデータ分割戦略を採用。
• CTU19データセット（ボットネット検出のための低代表的ネットワークセキュリティデータセット）に、2つのベースライン意思決定木分類器（CARTおよびC5.0）を適用。
• [3]のアルゴリズムを用いて、訓練集合とテスト集合の重複度を定量化し、代表的さの差を測定。
• バランス精度、F1スコア、感度、特異度という標準指標を用いて、すべての分割戦略においてモデル性能を評価。
• 各戦略に対して複数回のリサンプリング（モンテカルロ風）を実施し、性能推定の安定性およびばらつきを評価。
• 各戦略間での性能指標の中央値および四分位範囲を比較し、頑健性および推定の正確性を評価。

実験結果

リサーチクエスチョン

• RQ1 非代表的データセットにおいて、データ分割戦略の選択が一般化誤差推定に与える影響は何か？
• RQ2 差異、クラスタリング、インフォームドグループ化といった予測子に基づくサンプリング戦略は、ランダム分割と比較して性能推定の正確性を向上させられるか？
• RQ3 訓練集合とテスト集合の代表的さの差が、バランス精度やF1スコアといったモデル性能指標に与える影響は何か？
• RQ4 さまざまな分割戦略は、現実的だが挑戦的なデータ分布のシフト下でのモデルの頑健性をどのように反映するか？
• RQ5 代替的分割戦略は、標準的なモンテカルロ分割と比較して、どの程度楽観的でない、より現実的な性能推定を提供するか？

主な発見

• 標準的なモンテカルロ分割戦略は、訓練集合とテスト集合の類似度が高いため、モデル性能を過大評価する（中央値のバランス精度 = 0.91）。
• 差異に基づく戦略は、初期セット選択が不適切なため推定誤差が増大する（中央値のバランス精度 = 0.75）ことが判明し、小規模データセットでは不安定であることが示された。
• インフォームドベースの分割戦略は、性能の範囲が広がっており（バランス精度 0.75 ～ 0.91）、0.75 が代表的でない状況下での最悪ケースを示している可能性がある。
• クラスタリングベースの戦略は、最も楽観的でない推定（中央値のバランス精度 = 0.82）を示し、F1スコア（0.93）が高く、ばらつきも増加しており、極端な分布シフト下での頑健性のテストが行われていることが示された。
• クラスタリングベースおよびインフォームドベースの戦略は、モンテカルロ戦略と比較して、特に非代表的データシナリオにおける実世界の展開を想定した場合に、より現実的な性能推定を提供する。
• すべての戦略が、訓練集合とテスト集合の代表的さのわずかな差が、特にF1スコアと感度に顕著な影響を与えることを確認した。これは、モデル評価における分割戦略の注意深い選択の重要性を強調している。