[논문 리뷰] Under-bagging Nearest Neighbors for Imbalanced Classification

Hanyuan Hang, Yuchao Cai외 2명|arXiv (Cornell University)|2021. 09. 01.

Imbalanced Data Classification Techniques참고 문헌 83인용 수 7

한 줄 요약

이 논문은 불균형 분류 성능을 향상시키기 위해 다수 클래스에서 균형 잡힌 부트스트랩 샘플을 생성함으로써 소수 클래스 크기와 동일한 크기의 서브샘플을 확보하는 under-bagging k-nearest neighbors(under-bagging k-NN)를 제안한다. 이론적으로는 약간의 부드러움 조건과 마진 조건 하에서 소수 클래스 재현율의 산술 평균(AM)에 대해 최적의 수렴 속도를 달성하며, 더 작은 서브샘플과 더 적은 배깅 라운드로 인해 시간 복잡도가 크게 감소하면서도 경쟁력 있는 성능 유지를 한다.

ABSTRACT

In this paper, we propose an ensemble learning algorithm called extit{under-bagging $k$-nearest neighbors} ( extit{under-bagging $k$-NN}) for imbalanced classification problems. On the theoretical side, by developing a new learning theory analysis, we show that with properly chosen parameters, i.e., the number of nearest neighbors $k$, the expected sub-sample size $s$, and the bagging rounds $B$, optimal convergence rates for under-bagging $k$-NN can be achieved under mild assumptions w.r.t.~the arithmetic mean (AM) of recalls. Moreover, we show that with a relatively small $B$, the expected sub-sample size $s$ can be much smaller than the number of training data $n$ at each bagging round, and the number of nearest neighbors $k$ can be reduced simultaneously, especially when the data are highly imbalanced, which leads to substantially lower time complexity and roughly the same space complexity. On the practical side, we conduct numerical experiments to verify the theoretical results on the benefits of the under-bagging technique by the promising AM performance and efficiency of our proposed algorithm.

연구 동기 및 목표

• 표준 k-NN가 다수 클래스가 예측을 지배하는 불균형 데이터셋에서 떨어진 성능을 보이는 데 대비하여 이를 해결하기 위해.
• k-NN의 단순성을 유지하면서도 소수 클래스 재현율을 향상시키는 이론적으로 탄탄한 앙상블 방법을 개발하기 위해.
• 성능을 희생시키지 않고 더 작은 서브샘플과 더 적은 배깅 라운드를 사용하여 계산 복잡도를 감소시키기 위해.
• 홀더 부드러움 조건과 마진 조건 하에서 소수 클래스 재현율의 산술 평균(AM)에 대한 최적의 수렴 속도를 확립하기 위해.
• 기타 기본 분류기에도 적용 가능한 under-bagging 기법에 대한 학습 이론적 기반을 제공하기 위해.

제안 방법

• 메이저리티 클래스에서 서브샘플을 생성하여 k-NN 분류기의 앙상블을 구성하며, 각 서브샘플의 크기가 소수 클래스 크기와 동일하도록 한다.
• 각 배깅 라운드에서, 소수 클래스와 메이저리티 클래스에서 무작위로 추출한 서브샘플을 조합하여 균형 잡힌 훈련 세트를 구성한다.
• 최종 예측은 앙상블 내 모든 기본 분류기의 사후 확률을 평균하여 도출된다.
• 이론적 분석은 진짜 회귀 함수의 홀더 부드러움과 마진 조건에 기반하여 수렴 속도를 유도한다.
• 주요 매개변수로는 근접한 이웃 수 $k$, 서브샘플 크기 $s$, 배깅 라운드 수 $B$ 가 있으며, 이는 수렴을 최적화하기 위해 조정된다.
• 모델 학습을 피함으로써 k-NN의 레이지 학습 성격을 유지하면서도 클래스 불균형에 대한 강건성을 향상시킨다.

실험 결과

연구 질문

• RQ1 under-bagging k-NN는 불균형 분류에서 소수 클래스 재현율의 산술 평균(AM)에 대해 최적의 수렴 속도를 달성할 수 있는가?
• RQ2 서브샘플 크기 $s$ 와 배깅 라운드 수 $B$ 의 선택이 수렴 속도와 계산 복잡도에 어떤 영향을 미치는가?
• RQ3 under-bagging k-NN는 상당히 감소된 시간 복잡도로 표준 k-NN과 유사한 성능을 달성할 수 있는가?
• RQ4 약간의 부드러움 조건과 마진 조건 하에서 under-bagging k-NN에 대해 어떤 이론적 보장을 확보할 수 있는가?
• RQ5 under-bagging는 매우 불균형한 데이터셋에서 k-NN의 일반화 성능을 향상시킬 수 있는가?

주요 결과

• 홀더 부드러움 조건과 마진 조건 하에서 under-bagging k-NN는 소수 클래스 재현율의 산술 평균(AM)에 대해 최적의 수렴 속도 $\mathcal{O}\bigl((\log n/n)^{\alpha/(2\alpha+d)}\bigr)$ 를 달성한다.
• 적절하게 선택된 매개변수 하에서 기대되는 서브샘플 크기 $s$ 는 전체 훈련 크기 $n$ 과 비교해 훨씬 작아지며, 이는 시간 복잡도를 크게 감소시킨다.
• 매우 불균형한 환경에서는 근접한 이웃 수 $k$ 도 동시에 감소시킬 수 있어 계산 비용을 더욱 낮출 수 있다.
• 표준 k-NN와 비슷한 공간 복잡도를 유지하면서도 더 높은 효율성과 성능을 달성한다.
• $d > 2\alpha$ 인 경우 수렴 속도는 $\mathcal{O}\bigl((\log^2(Mn_{(1)})/Mn_{(1)})^{\alpha/(2\alpha+d)}\bigr)$ 로 표현되며, 약간의 가정 하에서 $\mathcal{O}\bigl((\log n/n)^{\alpha/(2\alpha+d)}\bigr)$ 로 단순화된다.
• 이론적 분석은 under-bagging k-NN가 상대적으로 작은 $B$ 로도 최적의 속도를 달성함을 확인하며, 이는 대규모 불균형 데이터셋에 대해 확장 가능하고 실용적인 방법임을 시사한다.