[논문 리뷰] Beyond Random Split for Assessing Statistical Model Performance

Carlos Catania, J.E. Castillo Guerra외 3명|arXiv (Cornell University)|2022. 09. 04.

Neural Networks and Applications인용 수 4

한 줄 요약

이 논문은 데이터셋이 비대표적일 경우, 특히 희귀하거나 드문 예제에서 일반화 오차 추정을 향상시키기 위해 비랜덤 데이터 분할 전략—비유사성 기반, 정보 기반, 클러스터링 기반—을 제안한다. CTU19 봇넷 데이터셋과 두 가지 트리 기반 분류기들을 사용한 연구에서, 특히 저대표성 상황에서 표준 몬테카를로 분할 전략에 비해 클러스터링 기반 및 정보 기반 전략이 더 현실적이고 낙관적인 성능 추정을 제공하는 것으로 나타났다.

ABSTRACT

Even though a train/test split of the dataset randomly performed is a common practice, could not always be the best approach for estimating performance generalization under some scenarios. The fact is that the usual machine learning methodology can sometimes overestimate the generalization error when a dataset is not representative or when rare and elusive examples are a fundamental aspect of the detection problem. In the present work, we analyze strategies based on the predictors' variability to split in training and testing sets. Such strategies aim at guaranteeing the inclusion of rare or unusual examples with a minimal loss of the population's representativeness and provide a more accurate estimation about the generalization error when the dataset is not representative. Two baseline classifiers based on decision trees were used for testing the four splitting strategies considered. Both classifiers were applied on CTU19 a low-representative dataset for a network security detection problem. Preliminary results showed the importance of applying the three alternative strategies to the Monte Carlo splitting strategy in order to get a more accurate error estimation on different but feasible scenarios.

연구 동기 및 목표

• 비대표적 데이터셋에서 랜덤 훈련/테스트 분할을 사용할 경우 일반화 오차가 과대평가되는 문제를 해결하기 위해.
• 희귀하거나 이국적인 예제가 부족한 경우, 다양한 데이터 분할 전략이 모델 성능 추정에 미치는 영향을 평가하기 위해.
• 기존의 랜덤 분할에 비해 예측 변수 기반 샘플링 전략이 일반화 오차 추정의 정확도를 향상시킬 수 있는지 평가하기 위해.
• 특히 네트워크 보안 탐지 작업에서 데이터 대표성 수준이 다양할 경우 모델의 강건성 평가 프레임워크를 제공하기 위해.
• 낮은 대표성 상황에서 표준 몬테카를로 분할 전략에 비해 대체 분할 전략이 더 낙관적이지 않고 현실적인 성능 추정을 제공함을 입증하기 위해.

제안 방법

• 몬테카를로(랜덤 분할), 비유사성 기반(훈련 및 테스트 샘플 간 거리 최대화), 정보 기반(그룹 수준 정보를 사용해 테스트 세트를 분리), 클러스터링 기반(k-means를 사용해 예측 변수 공간을 분할)의 네 가지 데이터 분할 전략을 적용한다.
• CTU19 데이터셋—비대표적인 네트워크 보안 데이터셋으로 봇넷 탐지에 사용되며, 두 가지 기본 결정트리 분류기(CART 및 C5.0)를 적용한다.
• 문헌 [3]의 알고리즘을 사용해 훈련 및 테스트 세트 간의 겹침 정도를 정량화하고, 대표성 차이를 측정한다.
• 모든 분할 전략에 대해 표준 성능 지표인 균형 정확도, F1, 민감도, 특이도를 사용해 모델 성능을 평가한다.
• 각 전략에 대해 다수의 재샘플링(Monte Carlo 방식)을 수행해 성능 추정의 안정성과 변동성을 평가한다.
• 다양한 전략 간 성능 지표의 중앙값과 사분자구간을 비교해 강건성과 추정 정확도를 평가한다.

실험 결과

연구 질문

• RQ1 비대표적 데이터셋에서 데이터 분할 전략의 선택이 일반화 오차 추정에 어떤 영향을 미치는가?
• RQ2 예측 변수 기반 샘플링 전략(비유사성, 클러스터링, 정보 그룹화)이 랜덤 분할에 비해 성능 추정의 정확도를 향상시킬 수 있는가?
• RQ3 훈련 및 테스트 세트 간 대표성의 변화가 균형 정확도 및 F1과 같은 성능 지표에 어떤 영향을 미치는가?
• RQ4 다양한 분할 전략은 실제적이지만 도전적인 데이터 분포 이동 상황에서 모델의 강건성을 어떻게 반영하는가?
• RQ5 대체 분할 전략이 표준 몬테카를로 분할 전략에 비해 얼마나 더 낙관적이지 않고 현실적인 성능 추정을 제공하는가?

주요 결과

• 표준 전략이지만 몬테카를로 분할 전략은 훈련 및 테스트 세트 간 유사도가 높아 성능을 과대평가한다(중앙값 균형 정확도 = 0.91).
• 비유사성 기반 전략은 초기 세트 선택이 열악해 추정 오차가 증가한다(중앙값 균형 정확도 = 0.75)로, 작은 데이터셋에서의 불안정성을 보여준다.
• 정보 기반 분할 전략은 성능 범위가 넓다(균형 정확도 0.75에서 0.91까지), 이는 저대표성 상황에서 0.75가 최악의 시나리오일 수 있음을 시사한다.
• 클러스터링 기반 전략은 가장 낙관적인 추정을 내놓는다(중앙값 균형 정확도 = 0.82), F1은 0.93로 높고 변동성이 증가하여 극단적인 분포 이동 상황에서의 강건성 테스트를 반영한다.
• 클러스터링 기반 및 정보 기반 전략은 몬테카를로 전략에 비해 더 현실적인 성능 추정을 제공하며, 특히 비대표적 데이터 상황에서의 실세계 구현에 유리하다.
• 모든 전략이 훈련/테스트 세트의 대표성 차이가 작을수록 성능 지표, 특히 F1과 민감도에 큰 영향을 미친다는 점을 확인했으며, 이는 모델 평가 시 신중한 분할 전략 선택이 필수적임을 강조한다.