[논문 리뷰] KNN Ensembles for Tweedie Regression: The Power of Multiscale Neighborhoods

Colleen Farrelly|arXiv (Cornell University)|2017. 07. 29.

Topological and Geometric Data Analysis참고 문헌 40인용 수 5

한 줄 요약

이 논문은 k 값을 다양하게 조절하고, bagged 특징과 관측치를 조합하여 Tweedie 회귀에 적합한 KNN 앙상블 방법을 제안한다. k 값을 다양하게 조절하는 것이 특징으로, 특징이나 관측치를 단순히 bagging하는 것보다 예측 성능을 크게 향상시키며, 시뮬레이션 및 실제 데이터셋에서 표준 KNN 및 최신 기술 모델보다 뛰어난 성능을 보인다. 특히 고차원 설정에서 두드러진 성능 향상을 보인다.

ABSTRACT

Very few K-nearest-neighbor (KNN) ensembles exist, despite the efficacy of this approach in regression, classification, and outlier detection. Those that do exist focus on bagging features, rather than varying k or bagging observations; it is unknown whether varying k or bagging observations can improve prediction. Given recent studies from topological data analysis, varying k may function like multiscale topological methods, providing stability and better prediction, as well as increased ensemble diversity. This paper explores 7 KNN ensemble algorithms combining bagged features, bagged observations, and varied k to understand how each of these contribute to model fit. Specifically, these algorithms are tested on Tweedie regression problems through simulations and 6 real datasets; results are compared to state-of-the-art machine learning models including extreme learning machines, random forest, boosted regression, and Morse-Smale regression. Results on simulations suggest gains from varying k above and beyond bagging features or samples, as well as the robustness of KNN ensembles to the curse of dimensionality. KNN regression ensembles perform favorably against state-of-the-art algorithms and dramatically improve performance over KNN regression. Further, real dataset results suggest varying k is a good strategy in general (particularly for difficult Tweedie regression problems) and that KNN regression ensembles often outperform state-of-the-art methods. These results for k-varying ensembles echo recent theoretical results in topological data analysis, where multidimensional filter functions and multiscale coverings provide stability and performance gains over single-dimensional filters and single-scale covering. This opens up the possibility of leveraging multiscale neighborhoods and multiple measures of local geometry in ensemble methods.

연구 동기 및 목표

• Tweedie 회귀에 대한 KNN 앙상블에서 k 값의 다양화, 특징 bagging, 관측치 bagging의 영향을 조사하는 것.
• 상위로지컬 데이터 분석에서 영감을 얻은 다중 척도 이웃 접근 방식이 모델의 안정성과 예측 정확도를 향상시키는지 평가하는 것.
• 실제 및 시뮬레이션된 Tweedie 회귀 문제에서 KNN 앙상블 변종의 성능을 최신 기계학습 모델들과 비교하는 것.
• 고차원 설정에서 KNN 앙상블의 차원의 고통에 대한 내성에 대한 평가

제안 방법

• 특징 bagging, 관측치 bagging, 다양한 k 값의 조합을 통해 여러 실행에서 수행되는 일곱 가지 KNN 앙상블 알고리즘을 개발하였다.
• 각 앙상블은 서로 다른 k 값 또는 부트스트랩 샘플을 사용한 다수의 KNN 모델 예측 결과를 투표 또는 평균화하는 전략을 사용한다.
• 다양한 k 값의 체계적 변화를 통해 다중 척도 이웃을 구현하며, 다중 척도 위상적 분석을 모방한다.
• 특징 bagging, 관측치 bagging, k 값 다양화 전략의 조합을 통해 앙상블의 다양성을 향상시킨다.
• 평균 제곱오차와 분산 등의 지표를 사용하여 Tweedie 회귀 작업에서 모델을 훈련하고 평가한다.
• 시뮬레이션과 여섯 개의 실제 데이터셋을 통해 극단적 학습 기계, 랜덤 포레스트, 부스팅 회귀, Morse-Smale 회귀와의 비교를 통해 방법의 타당성을 검증한다.

실험 결과

연구 질문

• RQ1 KNN 앙상블에서 고정된 k 값이나 표준 bagging 기법보다 k 값을 다양화하는 것이 더 나은 예측 성능을 제공하는가?
• RQ2 특징 bagging, 관측치 bagging, 그리고 k 값 다양화의 조합이 Tweedie 회귀에서 모델 적합도와 내성에 어떤 기여를 하는가?
• RQ3 KNN 앙상블에서 다중 척도 이웃 전략이 고차원 또는 복잡한 데이터 설정에서 성능과 안정성을 향상시킬 수 있는가?
• RQ4 KNN 앙상블 모델은 랜덤 포레스트나 극단적 학습 기계와 같은 최신 알고리즘과 Tweedie 회귀 작업에서 어떻게 비교되는가?
• RQ5 k 값 다양화 앙상블에서의 성능 향상은 다양한 실제 데이터셋과 시뮬레이션 시나리오에 걸쳐 안정적인가?

주요 결과

• 고정된 k 값의 KNN이나 특징 또는 관측치만 bagging하는 앙상블보다, KNN 앙상블에서 k 값을 다양화하는 것이 뚜렷한 성능 향상을 이룬다.
• KNN 앙상블 모델은 표준 KNN 회귀를 능가하며, 랜덤 포레스트나 극단적 학습 기계와 같은 최신 모델과 비교해도 경쟁력 있거나 뛰어난 성능을 보인다.
• 제안된 앙상블은 고차원 데이터 설정에서도 차원의 고통에 강건하며, 뛰어난 성능을 유지한다.
• 실제 데이터셋의 결과는 k 값 다양화 앙상블이 어려운 Tweedie 회귀 문제에서 특히 효과적임을 시사하며, 종종 최신 기술 모델을 초월한다.
• 성능 향상 결과는 위상적 데이터 분석에서 유래한 이론적 통찰과 일치하며, 앙상블 학습에서 다중 척도 이웃과 다수의 국소 기하 측정법의 사용을 뒷받침한다.
• 연구는 k 값 다양화 전략과 bagging의 조합이 다양성을 향상시키고 예측 정확도를 높임을 확인하며, 다중 척도 이웃 접근 방식이 강력한 프레임워크임을 검증한다.