[論文レビュー] GBHT: Gradient Boosting Histogram Transform for Density Estimation

Jingyi Cui, Hanyuan Hang+2 more|arXiv (Cornell University)|Jun 10, 2021

Anomaly Detection Techniques and Applications被引用数 4

ひとこと要約

本稿では、密度推定のための新しい勾配ブースティング手法GBHTを提案する。負の対数尤度を損失関数として用いることで、教師なし学習におけるブースティングが可能になる。ランダムヒストグラム変換と反復的勾配ブースティングを組み合わせることで、ベースラーナーの収束速度を上回る高速な収束速度を達成し、Hölder空間 $C^{0,\beta}$ および $C^{1,\beta}$ において理論的保証を有する。実世界のデータセットにおける異常検知タスクにおいても優れた性能を示す。

ABSTRACT

In this paper, we propose a density estimation algorithm called extit{Gradient Boosting Histogram Transform} (GBHT), where we adopt the extit{Negative Log Likelihood} as the loss function to make the boosting procedure available for the unsupervised tasks. From a learning theory viewpoint, we first prove fast convergence rates for GBHT with the smoothness assumption that the underlying density function lies in the space $C^{0,α}$. Then when the target density function lies in spaces $C^{1,α}$, we present an upper bound for GBHT which is smaller than the lower bound of its corresponding base learner, in the sense of convergence rates. To the best of our knowledge, we make the first attempt to theoretically explain why boosting can enhance the performance of its base learners for density estimation problems. In experiments, we not only conduct performance comparisons with the widely used KDE, but also apply GBHT to anomaly detection to showcase a further application of GBHT.

研究の動機と目的

• 教師ありでない密度推定のためのブースティングベースの手法を開発し、既存のブースティング手法がこのタスクにおいて理論的基盤に欠ける問題を克服すること。
• 密度推定におけるブースティングの性能向上がなぜ可能であるかを理論的に説明する枠組みを確立すること。特に、Hölder空間における収束速度の分析を通じてその理由を解明すること。
• ランダムヒストグラム変換と勾配ブースティングを組み合わせた実用的なアルゴリズムを設計し、密度推定の精度と滑らかさを向上させること。
• KDEとの実験的比較および実データセットにおける異常検知への応用を通じて、GBHTの有効性を検証すること。

提案手法

• GBHTは、教師なし密度推定における勾配ブースティングを可能にするために、負の対数尤度を損失関数として用いる。
• 各反復において、ランダムな回転、スケーリング、平行移動を含むランダムヒストグラム変換が入力空間を重複のないセルに分割するために適用される。
• 各変換されたセル上で、区分的定数密度推定器が学習され、これがベースラーナーを形成する。
• アルゴリズムは、ブースティングの勾配降下法の変種を用いて、経験的負の対数尤度を最小化することで、密度推定を反復的に改善する。
• 学習後、最終的な密度推定値は、元の入力空間に戻すために逆変換された分割空間から得られる。
• 収束速度の向上を図るため、Nesterovの加速法が統合されている。

実験結果

リサーチクエスチョン

• RQ1 教師なし損失関数を用いた密度推定において、ブースティングを理論的に正当化できるか？
• RQ2 Hölder空間 $C^{0,\beta}$ および $C^{1,\beta}$ における滑らかさの仮定のもとで、GBHTの収束速度はいかほどか？
• RQ3 GBHTは、$C^{1,\beta}$ 空間において、そのベースラーナーの収束速度を上回るか？
• RQ4 実世界の密度推定および異常検知タスクにおいて、KDEなどの従来手法と比較してGBHTはどのように性能を発揮するか？
• RQ5 GBHTは、iForest、k-NN、LOF、OCSVMなどの他の手法と比較して、異常検知などの下流タスクにおいても競争力のある性能を示せるか？

主な発見

• GBHTは、$C^{1,\beta}$ 空間において $O(n^{-2(1+\beta)/(4(1+\beta)+d)})$ の高速な収束速度を達成し、ベースヒストグラム変換推定器の下界 $O(n^{-2/(2+d)})$ よりも厳密に優れている。
• $C^{0,\beta}$ 空間において、GBHTは $O(n^{-2\beta/(2\beta+d)})$ の高速な収束速度を達成し、この手法の理論的一貫性を確立している。
• 実験的結果から、GBHTは20の実世界データセットにおいてKDEおよび他のベースライン手法を上回り、異常検知タスクでAUCスコアが常に上位2位以内に収まっている。
• 20のデータセットのうち18つで最高または第2位のAUCスコアを記録し、ランク和が57であるため、iForest、k-NN、LOF、OCSVMと比較して優れた全体的な性能を示している。
• 次元数やサンプルサイズの変動に対してもロバストであり、高次元および不均衡なデータセットにおいても優れた性能を発揮している。
• Nesterovの加速法の統合により、推定精度を損なわず、トレーニング効率が向上している。