[論文レビュー] KNN Ensembles for Tweedie Regression: The Power of Multiscale Neighborhoods

Colleen Farrelly|arXiv (Cornell University)|Jul 29, 2017

Topological and Geometric Data Analysis参考文献 40被引用数 5

ひとこと要約

本論文は、kの値を変化させ、bagged特徴量と観測値を組み合わせることで、マルチスケール近傍を活用するKNNアンサンブル手法を提案する。kを変化させることで、特徴量やサンプルをbaggingするのとは顕著に異なる予測性能の向上が示され、特に高次元設定において、標準KNNや最先端モデルよりも優れた性能を発揮する。シミュレートデータおよび実データの両方で明確な性能向上が確認された。

ABSTRACT

Very few K-nearest-neighbor (KNN) ensembles exist, despite the efficacy of this approach in regression, classification, and outlier detection. Those that do exist focus on bagging features, rather than varying k or bagging observations; it is unknown whether varying k or bagging observations can improve prediction. Given recent studies from topological data analysis, varying k may function like multiscale topological methods, providing stability and better prediction, as well as increased ensemble diversity. This paper explores 7 KNN ensemble algorithms combining bagged features, bagged observations, and varied k to understand how each of these contribute to model fit. Specifically, these algorithms are tested on Tweedie regression problems through simulations and 6 real datasets; results are compared to state-of-the-art machine learning models including extreme learning machines, random forest, boosted regression, and Morse-Smale regression. Results on simulations suggest gains from varying k above and beyond bagging features or samples, as well as the robustness of KNN ensembles to the curse of dimensionality. KNN regression ensembles perform favorably against state-of-the-art algorithms and dramatically improve performance over KNN regression. Further, real dataset results suggest varying k is a good strategy in general (particularly for difficult Tweedie regression problems) and that KNN regression ensembles often outperform state-of-the-art methods. These results for k-varying ensembles echo recent theoretical results in topological data analysis, where multidimensional filter functions and multiscale coverings provide stability and performance gains over single-dimensional filters and single-scale covering. This opens up the possibility of leveraging multiscale neighborhoods and multiple measures of local geometry in ensemble methods.

研究の動機と目的

• Tweedie回帰におけるKNNアンサンブルにおいて、kの値を変化させること、特徴量をbaggingすること、観測値をbaggingすることの影響を調査すること。
• トポロジカルデータ解析にインspiredされたマルチスケール近傍アプローチが、モデルの安定性と予測精度を向上させるかどうかを評価すること。
• 実データおよびシミュレートデータのTweedie回帰問題において、KNNアンサンブルのバリエーションと最先端機械学習モデルの性能を比較すること。
• 高次元設定におけるKNNアンサンブルの次元の呪いへのロバストネスを評価すること。

提案手法

• 特徴量のbagging、観測値のbagging、k値の変化を組み合わせた7種類のKNNアンサンブルアルゴリズムを開発した。
• 複数回の実行において、異なるk値またはブートストラップサンプルを用いた複数のKNNモデルの予測結果を投票または平均化する戦略を採用した。
• k値を範囲にわたり系統的に変化させることで、マルチスケール近傍を組み込み、マルチスケールトポロジカル解析を模倣した。
• 特徴量bagging、観測値bagging、k値の変化戦略の組み合わせにより、アンサンブルの多様性を向上させた。
• 平均二乗誤差やdevianceなどの指標を用いて、Tweedie回帰タスクにおけるモデルの学習と評価を実施した。
• シミュレーションと6つの実世界データセットを用いた検証により、極端な学習マシン、ランダムフォレスト、ブースティング回帰、Morse-Smale回帰と比較した。

実験結果

リサーチクエスチョン

• RQ1 KNNアンサンブルにおいてkを変化させることで、固定k値や標準的なbagging手法よりも優れた予測性能が得られるか？
• RQ2 特徴量のbagging、観測値のbagging、k値の変化の組み合わせが、Tweedie回帰におけるモデルのフィットとロバストネスにどのように寄与するか？
• RQ3 KNNアンサンブルにおけるマルチスケール近傍戦略は、特に高次元または複雑なデータ設定において、性能と安定性を向上させることができるか？
• RQ4 KNNアンサンブルモデルは、ランダムフォレストや極端な学習マシンといった最先端アルゴリズムと比較して、Tweedie回帰タスクでどのように性能を発揮するか？
• RQ5 k値を変化させたアンサンブルによる性能向上は、多様な実世界データセットやシミュレーション状況において一貫してロバストであるか？

主な発見

• kを変化させたKNNアンサンブルは、固定k値のKNNや、特徴量や観測値を単独でbaggingするアンサンブルと比較して顕著な性能向上を示した。
• KNNアンサンブルモデルは、標準KNN回帰を上回り、ランダムフォレストや極端な学習マシンといった最先端モデルと比較して、同等または優れた結果を達成した。
• 提案されたアンサンブルは、次元の呪いに対してロバストであり、高次元データ設定でも強力な性能を維持した。
• 実データからの結果から、k値を変化させたアンサンブルは、困難なTweedie回帰問題において特に効果的であり、しばしば最先端手法を上回った。
• 性能向上は、トポロジカルデータ解析からの理論的知見と整合しており、アンサンブル学習におけるマルチスケール近傍と複数の局所幾何学的測度の使用を支持するものである。
• k値の変化戦略とbaggingの組み合わせが、多様性と予測精度を向上させることを確認した。これにより、マルチスケール近傍アプローチが強力なフレームワークであることが裏付けられた。