[논문 리뷰] GBHT: Gradient Boosting Histogram Transform for Density Estimation

Jingyi Cui, Hanyuan Hang외 2명|arXiv (Cornell University)|2021. 06. 10.

Anomaly Detection Techniques and Applications인용 수 4

한 줄 요약

이 논문은 밀도 추정을 위한 새로운 기울기 부스팅 알고리즘인 GBHT를 제안한다. 이 알고리즘은 비지도 학습에서의 부스팅을 가능하게 하기 위해 음의 로그우도를 손실 함수로 사용한다. 무작위 히스토그램 변환과 반복적 기울기 부스팅을 조합함으로써 GBHT는 기본 학습기보다 더 빠른 수렴 속도를 달성하며, 허더 공간 $C^{0,\beta}$ 및 $C^{1,\beta}$에서 이론적 보장을 제공한다. 또한 실제 데이터셋에서 이상 탐지 작업에서 뛰어난 성능을 보인다.

ABSTRACT

In this paper, we propose a density estimation algorithm called extit{Gradient Boosting Histogram Transform} (GBHT), where we adopt the extit{Negative Log Likelihood} as the loss function to make the boosting procedure available for the unsupervised tasks. From a learning theory viewpoint, we first prove fast convergence rates for GBHT with the smoothness assumption that the underlying density function lies in the space $C^{0,α}$. Then when the target density function lies in spaces $C^{1,α}$, we present an upper bound for GBHT which is smaller than the lower bound of its corresponding base learner, in the sense of convergence rates. To the best of our knowledge, we make the first attempt to theoretically explain why boosting can enhance the performance of its base learners for density estimation problems. In experiments, we not only conduct performance comparisons with the widely used KDE, but also apply GBHT to anomaly detection to showcase a further application of GBHT.

연구 동기 및 목표

• 기존 부스팅 접근법이 이 작업에 이론적 기반을 결여하고 있는 점을 고려해, 비지도 밀도 추정을 위한 부스팅 기반 방법을 개발하는 것.
• 밀도 추정에서 부스팅이 성능을 향상시키는 이유를 설명하는 이론적 프레임워크를 수립하는 것. 특히 허더 공간에서의 수렴 속도를 분석함으로써.
• 무작위 히스토그램 변환과 기울기 부스팅을 조합하여 밀도 추정 정확도와 부드러움을 향상시키는 실용적인 알고리즘을 설계하는 것.
• KDE와의 경험적 비교 및 실제 데이터셋에서의 이상 탐지 적용을 통해 GBHT의 효과성을 검증하는 것.

제안 방법

• GBHT는 비지도 밀도 추정에서의 기울기 부스팅을 가능하게 하기 위해 음의 로그우도를 손실 함수로 사용한다.
• 각 반복 단계에서 입력 공간을 겹치지 않는 셀들로 나누기 위해 무작위 회전, 스케일링, 이동을 포함한 무작위 히스토그램 변환이 적용된다.
• 각 변환된 셀에서 조각별로 일정한 밀도 추정기들이 학습된다. 이들이 기본 학습기들이다.
• 알고리즘은 기울기 하강법에 기반한 부스팅의 변형을 사용하여 경험적 음의 로그우도를 최소화함으로써 밀도 추정을 반복적으로 향상시킨다.
• 학습이 끝난 후, 최종 밀도 추정치는 변환된 공간을 원래 입력 공간으로 다시 변환함으로써 도출된다.
• 수렴 속도 향상을 위해 네스테로프 가속 기법이 통합된다.

실험 결과

연구 질문

• RQ1 비지도 손실 함수를 사용한 밀도 추정에 대해 부스팅을 이론적으로 정당화할 수 있는가?
• RQ2 허더 공간 $C^{0,\beta}$ 및 $C^{1,\beta}$에서의 부드러움 가정 하에 GBHT의 수렴 속도는 어떠한가?
• RQ3 GBHT는 $C^{1,\beta}$ 공간에서 기본 학습기보다 더 빠른 수렴 속도를 달성하는가?
• RQ4 실제 밀도 추정 및 이상 탐지 작업에서 기존 방법인 KDE와 비교해 GBHT는 어떻게 성능을 내는가?
• RQ5 GBHT는 이상 탐지와 같은 후속 작업에 효과적으로 적용되어 경쟁적인 성능을 낼 수 있는가?

주요 결과

• GBHT는 $C^{1,\beta}$ 공간에서 $O(n^{-2(1+\beta)/(4(1+\beta)+d)})$의 빠른 수렴 속도를 달성하며, 이는 기본 히스토그램 변환 추정기의 하한 $O(n^{-2/(2+d)})$보다 엄격히 우수하다.
• 또한 $C^{0,\beta}$ 공간에서는 $O(n^{-2\beta/(2\beta+d)})$의 빠른 수렴 속도를 달성하여 이론적 일致성을 입증한다.
• 경험적 결과는 GBHT가 20개의 실제 데이터셋에서 KDE 및 기타 기준 모델보다 이상 탐지에서 뛰어난 성능을 보이며, 모든 데이터셋에서 AUC 점수가 항상 상위 두 개 이내로 유지됨을 보여준다.
• 20개 데이터셋 중 18개에서 최고 또는 두 번째로 높은 AUC를 기록했으며, 순위 합이 57이어서 iForest, k-NN, LOF, OCSVM 대비 뛰어난 전반적 성능을 보였다.
• 다양한 차원 수와 표본 크기 변화에 대해 강건하며, 고차원 및 불균형 데이터셋에서도 뛰어난 성능을 보였다.
• 네스테로프 가속 기법의 통합은 정확도를 훼손하지 않으면서도 학습 효율성을 향상시켰다.