[論文レビュー] A note on basis dimension selection in generalized additive modelling

Natalya Pya, Simon N. Wood|arXiv (Cornell University)|Feb 22, 2016

Fault Detection and Control Systems被引用数 11

ひとこと要約

本稿では、一般化加法モデル（GAMs）における基底次元の適正さを確認する2つの計算効率の良い手法を提案する：残差差分に基づく仮説検定と、残差の再スムージング手法。両手法とも、GCV/REMLに基づく基底次元探索に比べて計算コストが低く抑えられつつ、同程度の精度で適切な基底次元を選択できるため、日常的なモデル診断に実用的である。

ABSTRACT

Two new approaches for checking the dimension of the basis functions when using penalized regression smoothers are presented. The first approach is a test for adequacy of the basis dimension based on an estimate of the residual variance calculated by differencing residuals that are neighbours according to the smooth covariates. The second approach is based on estimated degrees of freedom for a smooth of the model residuals with respect to the model covariates. In comparison with basis dimension selection algorithms based on smoothness selection criterion (GCV, AIC, REML) the above procedures are computationally efficient enough for routine use as part of model checking.

研究の動機と目的

• ペナルティ付き回帰スプラインにおける基底次元$k$が、過剰スムージングを避けるために十分に大きいかどうかを確認するための実用的で効率的な手法の不足に対処すること。
• 複数の$k$値でのフルモデル再適合が実際には高コストであるため、それらの代替として計算負荷が軽い手法を開発すること。
• 提案手法の性能を、GCV や REML といった標準的手法と比較し、精度および計算効率の観点から評価すること。
• これらのチェック手法をGAMモデル診断の標準的ツールとして広く採用されることを促進すること。

提案手法

• 平滑化共変数の順序で並べた残差の差分を用いた仮説検定を提案。この方法により残差分散の推定値が得られ、その推定値とモデルの残差分散（$\phi_\Delta / \hat{\phi}$）の比$\kappa$が、$k$の適正さを示す。
• 残差の再スムージング手法を導入：より高い$k$を用いてモデルの残差に新たなスムージングを適用し、有効自由度が閾値を超えるかどうかを評価することで、$k$が不十分であるかどうかを判断する。
• deviance や残差平方和を用いて、共変数空間における近隣の残差に基づく局所分散推定値$\phi_\Delta$を計算する。
• $\kappa$検定からのp値を用いて、$k$が小さすぎるかどうかを判断する。p値が小さいほど、基底次元をより大きくする必要があると示唆する。
• 提案手法の2つを、$k$値のグリッド上でGCV や REML の最適化を繰り返し行うフル最適化手法（繰り返しフルモデル再適合を伴う）と比較する。
• 一変量および二変量のスムーズ関数（正弦波や「バンプ」関数など）に、さまざまなサンプルサイズと$k$値を用いて手法を適用する。

実験結果

リサーチクエスチョン

• RQ1 GAMにおける基底次元$k$が小さすぎる場合に、単純な残差差分検定が信頼性を持って検出できるか？
• RQ2 より高い$k$を用いて残差を再スムージングすることで、フルモデル再適合に代わる感度が高く、効率的な基底次元チェックの代替手段となるか？
• RQ3 提案手法は、GCV や REML に基づく$k$選択手順と比べて、性能と計算コストの両面で優れているか？
• RQ4 提案された仮説検定は、うねりが激しい関数や単調関数を含むさまざまな種類のスムーズ関数に対して頑健か？
• RQ5 GCV や REML を用いた$k$最適化の計算負荷なしに、これらのチェックを日常的に行えるか？

主な発見

• 残差差分に基づく仮説検定（$\kappa$）は、GCV や REML と同等の性能を示すが、はるかに低い計算コストで実行できる。
• 残差の再スムージング手法も、フル最適化と同等の性能を示し、フルモデル再適合ではなく個々のスムーズ項の再スムージングのみで済むため、計算負荷が低い。
• 「バンプ」関数および6周期の正弦波に対しては、すべての手法が$k \geq 20$を選択しており、$k=10$はうねりが激しい関数に対しては不十分であることが示された。
• 仮説検定は他の手法と比較して、やや小さい$k$値を選択する傾向があり、基底次元が不十分であるかどうかを検出する上でより慎重（保守的）であると考えられる。
• REML最適化は、$n=100$のときにはしばしば必要以上に大きな$k$値を選択し、一部のケースでMSEが高くなる傾向があった。
• スムーズ項の数が増えるほど、提案手法の計算的利点が顕著になるため、複雑なGAMにおいて日常的に使用するのに最適である。