[논문 리뷰] The Effect of Balancing Methods on Model Behavior in Imbalanced Classification Problems

Adrian Stańdo, Mustafa Çavuş외 1명|arXiv (Cornell University)|2023. 06. 30.

Imbalanced Data Classification Techniques인용 수 6

한 줄 요약

이 논문은 성능 뿐 아니라 설명 가능한 인공지능(XAI) 도구를 활용해 모델 행동에 미치는 영향을 고려하여 불균형 분류에서의 균형 조절 방법을 평가하는 프레임워크를 제안한다. 성능 향상도 그래프와 새로운 지표(ASDD)를 도입하여 부분적 의존도 및 누적 국소 효과 프로파일의 변화를 비교함으로써, Near Miss와 같은 방법이 트리 기반 모델에서 특히 성능 향상이 있음에도 불구하고 모델 행동을 크게 변화시킨다는 점을 드러낸다.

ABSTRACT

Imbalanced data poses a significant challenge in classification as model performance is affected by insufficient learning from minority classes. Balancing methods are often used to address this problem. However, such techniques can lead to problems such as overfitting or loss of information. This study addresses a more challenging aspect of balancing methods - their impact on model behavior. To capture these changes, Explainable Artificial Intelligence tools are used to compare models trained on datasets before and after balancing. In addition to the variable importance method, this study uses the partial dependence profile and accumulated local effects techniques. Real and simulated datasets are tested, and an open-source Python package edgaro is developed to facilitate this analysis. The results obtained show significant changes in model behavior due to balancing methods, which can lead to biased models toward a balanced distribution. These findings confirm that balancing analysis should go beyond model performance comparisons to achieve higher reliability of machine learning models. Therefore, we propose a new method performance gain plot for informed data balancing strategy to make an optimal selection of balancing method by analyzing the measure of change in model behavior versus performance gain.

연구 동기 및 목표

• 성능 지표를 넘어서 데이터 균형 조절 방법이 모델 행동에 어떻게 영향을 미치는지 조사하기 위해.
• 균형 조절 기법이 모델 해석 가능성과 의사결정 과정에 미치는 영향을 이해하는 데에 미치는 격차를 메우기 위해.
• 성능 향상과 최소한의 행동 변화 간의 균형을 고려한 체계적인 균형 조절 기법 선정 방법을 개발하기 위해.
• 균형 조절 방법과 XAI 도구를 평가하기 위한 기준 데이터셋과 통합 워크플로우를 구축하기 위해.
• 모델 성능와 행동 변화 간의 트레이드오프를 평가하는 투명하고 재현 가능한 프레임워크를 제공하기 위해.

제안 방법

• 모델 행동의 변화를 분석하기 위해 부분적 의존도 프로파일(PDP)과 누적 국소 효과(ALE) 프로파일을 활용한 설명 가능한 인공지능(XAI) 도구를 사용한다.
• 특성 간의 행동 변화를 정량화하기 위해 새로운 지표인 SDD(의존도의 표준화된 차이)를 도입한다.
• 예측 성능(균형 정확도)과 모델 행동 변화(ASDD 값) 간의 트레이드오프를 비주얼라이즈하기 위해 성능 향상도 그래프를 활용한다.
• 데이터 균형 조절, 모델 훈련, XAI 분석 워크플로우를 통합하기 위해 오픈소스 파이썬 패키지 'edgaro'를 개발한다.
• 모델 행동과 성능의 관찰된 변화에 대한 통계적 유의성을 평가하기 위해 FDR 보정을 적용한 Wilcoxon 부호순서 검정을 적용한다.
• 모의 데이터셋(정확한 기준값이 있는 경우)과 실제 불균형 데이터셋을 대상으로 실험을 수행하여 결과의 타당성을 검증한다.

실험 결과

연구 질문

• RQ1 다양한 데이터 균형 조절 방법이 부분적 의존도 및 누적 국소 효과 프로파일의 변화를 통해 어떻게 기계학습 모델의 행동을 변화시키는가?
• RQ2 Near Miss나 무작위 언더샘플링과 같은 균형 조절 기법이 특성과 예측 간의 학습된 관계를 어느 정도 왜곡하는가?
• RQ3 통합 지표인 ASDD가 데이터 균형 조절으로 인한 모델 행동 변화의 크기를 효과적으로 정량화할 수 있는가?
• RQ4 균형 조절 기법의 성능 향상과 다양한 알고리즘(예: 로지스틱 회귀, 랜덤 포레스트, XGBoost)에서의 모델 행동 변화 간의 상관관계는 어떠한가?
• RQ5 성능 향상도 그래프는 성능과 행동 안정성 양측을 최적화하는 균형 조절 방법을 선택하는 데 결정적 도구로 활용될 수 있는가?

주요 결과

• 무작위 언더샘플링은 모의 및 실제 데이터셋 모두에서 균형 정확도 측면에서 가장 높은 성능 향상을 지속적으로 기록한다.
• Near Miss 방법은 ASDD 값으로 측정했을 때 랜덤 포레스트 및 XGBoost 모델에서 가장 큰 모델 행동 변화를 유도한다.
• 로지스틱 회귀 모델은 트리 기반 모델보다 ASDD 값이 낮아 행동 변화가 적지만, 여전히 특성 의존도 프로파일에서 눈에 띄는 이동을 보인다.
• 성능 향상도 그래프는 성능 향상이 큰 방법(예: 무작위 언더샘플링)이 고불균형 상황에서 특히 뚜렷한 행동 변화를 동반한다는 점을 드러낸다.
• 균형 조절이 모델 행동에 미치는 영향은 원래 데이터 분포의 변동성과 불균형 비율이 클수록 증가한다.
• 성능 향상도 그래프는 트레이드오프를 효과적으로 비주얼라이즈하며, Near Miss는 중간 정도의 성능 향상에도 불구하고 행동 변화 측면에서 위험성이 높다는 점을 보여준다.