[論文レビュー] Spline Regression with Automatic Knot Selection

Vivien Goepp, Olivier Bouaziz+1 more|arXiv (Cornell University)|Aug 6, 2018

Advanced Numerical Analysis Techniques参考文献 7被引用数 11

ひとこと要約

本稿では、初期のノットを密集したセットに設定し、適応的リッジ罰則を用いてスプライン回帰における自動ノット選択を実現する新規手法A-splineを提案する。反復的に不要なノットを削除することで、予測性能がPスプラインと同等でありながら、スパースかつ解釈可能なモデルを生成する。また、低次のスプライン（0次または1次）を用いることで、変化点検出が可能となる。

ABSTRACT

In this paper we introduce a new method for automatically selecting knots in spline regression. The approach consists in setting a large number of initial knots and fitting the spline regression through a penalized likelihood procedure called adaptive ridge. The proposed method is similar to penalized spline regression methods (e.g. P-splines), with the noticeable difference that the output is a sparse spline regression with a small number of knots. We show that our method called A-spline, for adaptive splines yields sparse regression models with high interpretability, while having similar predictive performance similar to penalized spline regression methods. A-spline is applied both to simulated and real dataset. A fast and publicly available implementation in R is provided along with this paper.

研究の動機と目的

• スプライン回帰における最適なノット数と位置の選択という課題に取り組む。これは、モデルの適合度と解釈可能性に顕著な影響を与える。
• 事前に定義されたノット配置や全探索に依存せずに、ノットを自動的に選択する計算効率の良い手法を開発すること。
• Pスプラインなどの標準的な罰則付きスプライン手法よりも解釈性が高く、予測精度は同等を維持するスパースな回帰モデルを生成すること。
• 低次のスプライン（次数0および1）を用いることで、スプライン回帰を自動的な変化点検出に拡張すること。
• 実用的な用途を想定し、標準的および一般化線形モデルの両設定で利用可能な、高速で公開済みのR実装を提供すること。

提案手法

• 予測変数の定義域全体にわたり、均等に配置された多数のノットを初期化する。
• スプラインを基底関数としてBスプラインを用いて表現し、推定すべき係数を含む線形モデルを構築する。
• スプライン係数に適応的リッジ罰則を適用することで、関連性の低いノットの係数を0に近づけることでスパarsityを促進する。
• 罰則付き尤度基準に基づき、逐次的に推定係数が最小のノットを削除する反復アルゴリズムを用いる。
• バイアス・バリアンスのトレードオフをバランスさせるために、ベイジアン情報量基準（BIC）または拡張BIC（EBIC）を用いて最終モデルを選択する。
• 指数型分布族に属する一般化線形モデル（GLM）へも、同じ罰則付き尤度フレームワークを適用することで拡張する。

実験結果

リサーチクエスチョン

• RQ1 適応的リッジ選択を用いた罰則付き尤度アプローチは、予測精度を維持しつつ、スプライン回帰における自動ノット選択を達成できるか？
• RQ2 A-splineの性能は、予測誤差とモデルのスパarsityの観点でPスプラインと比べてどうか？
• RQ3 A-splineは、ノット選択のスパarsityを活かして、平均（次数0）または勾配（次数1）の変化点を効果的に検出できるか？
• RQ4 特に一般化線形モデル（GLM）設定下で、A-splineは大規模データセットに対して計算的に効率的か？
• RQ5 A-splineは、多次元または代替スプライン基底（例：Mスプライン、Iスプライン）へ一般化可能か？ 特殊なモデリングタスクに応用可能か？

主な発見

• シミュレーションスタディにおいて、A-splineはPスプラインと同等の予測性能を達成し、さまざまな信号対雑音比において類似した平均二乗誤差を示した。
• Pスプラインと比較して、A-splineは顕著にスパースなモデルを生成した。変化点検出タスクのシミュレーションでは、9つのノットが選択された一方で、密なノットグリッドが使用された。
• 区分定数回帰（次数0）のケースでは、A-splineは合成信号において9つの変化点を正しく検出し、真の値とよく一致した。一部のケースではPELTを上回る性能を示した。
• LIDARデータセットにおいて、A-splineはx ≈ 567 mおよび607 mの地点で勾配の変化を検出し、MARSが検出したブレークポイント（558 mおよび612 m）とよく一致した。
• 石炭鉱山事故データ（ポアソンGLM）では、A-splineが次数3のスプラインを用いてたった3つのノットを選択し、滑らかで解釈可能なフィットを達成した。Pスプラインと同等の滑らかさを維持しながら、より強い正則化が施された。
• A-splineのR実装は、n ≈ 10,000件の観測値とk ≈ 1,000個の初期ノットに対して約1秒で実行され、高い計算効率を示した。