[논문 리뷰] A note on basis dimension selection in generalized additive modelling

Natalya Pya, Simon N. Wood|arXiv (Cornell University)|2016. 02. 22.

Fault Detection and Control Systems인용 수 11

한 줄 요약

이 논문은 일반화된 가산 모형(GAMs)에서 기저 차원의 적정성을 점검하기 위한 두 가지 계산적으로 효율적인 방법을 제안한다: 잔차 차분 기반의 가설 검정과 잔차 재스무딩 방법. 이 두 방법은 GCV/REML 기반의 기저 차원 탐색에 비해 효율성을 높이면서도 적절한 기저 차원을 선택하는 데서 비슷한 정확도를 유지하므로, 일상적인 모형 점검에 실용적이다.

ABSTRACT

Two new approaches for checking the dimension of the basis functions when using penalized regression smoothers are presented. The first approach is a test for adequacy of the basis dimension based on an estimate of the residual variance calculated by differencing residuals that are neighbours according to the smooth covariates. The second approach is based on estimated degrees of freedom for a smooth of the model residuals with respect to the model covariates. In comparison with basis dimension selection algorithms based on smoothness selection criterion (GCV, AIC, REML) the above procedures are computationally efficient enough for routine use as part of model checking.

연구 동기 및 목표

• 패널티 회귀 스플라인에서 기저 차원 $k$가 과도한 스무딩을 방지하기 위해 충분히 큰지 확인하기 위한 실용적이고 효율적인 방법의 부족을 해결하기 위해.
• 여러 $k$ 값에 대해 전체 모형 재적합이 필요한 고비용 과정을 대체할 계산적으로 경량화된 방법을 개발하기 위해.
• 제안된 점검 방법이 GCV 및 REML과 같은 기존 기준과 비교하여 정확성과 계산 효율성 측면에서 성능을 평가하기 위해.
• 이 점검 방법들이 GAM 모형 진단에서 표준 도구로 널리 쓰일 수 있도록 촉진하기 위해.

제안 방법

• 매끄러운 공변량에 따라 순서를 정렬한 잔차의 차분을 이용해 잔차 분산을 추정하는 가설 검정을 제안한다; 이 추정치와 모형의 잔차 분산($\kappa = \phi_\Delta / \hat{\phi}$)의 비율이 $k$의 적정성을 나타낸다.
• 잔차 재스무딩 방법을 도입한다: 더 높은 $k$를 사용해 모형 잔차에 대해 새로운 스무딩을 적합하고, 효과적 자유도가 임계값을 초과하는지 평가함으로써 $k$가 부족한지 판단한다.
• deviance 또는 잔차 제곱합을 사용해 $\phi_\Delta$를 계산하며, 이는 공변량 공간에서 이웃 잔차 기반의 국소 분산 추정치이다.
• 가장자리 $\kappa$ 검정에서의 p-value를 사용해 $k$가 너무 작은지 여부를 판단하며, 작은 p-value는 더 큰 기저 차원이 필요함을 시사한다.
• GCV 또는 REML에 대해 $k$ 값의 그리드에 대해 반복적인 전체 모형 재적합이 필요한 전면 최적화 방법과 제안된 두 점검 방법을 비교한다.
• 일변량 및 이변량 스무딩 함수(예: 사인파와 '버팀' 함수 포함)에 대해, 다양한 표본 크기와 $k$ 값 조건 하에서 방법을 적용한다.

실험 결과

연구 질문

• RQ1 GAMs에서 기저 차원 $k$가 너무 작은지 간단한 잔차 차분 검정이 신뢰성 있게 탐지할 수 있는가?
• RQ2 더 높은 $k$로 잔차를 재스무딩하는 방법이 전체 모형 재적합에 비해 민감하고 효율적인 기저 차원 점검 대안이 될 수 있는가?
• RQ3 제안된 방법들이 GCV 및 REML 기반의 $k$ 선택 절차와 비교하여 성능과 계산 비용 측면에서 어떻게 다른가?
• RQ4 제안된 가설 검정 방법이 파라미터가 복잡하거나 단조증가/감소하는 함수를 포함한 다양한 유형의 스무딩 함수에 대해 강건한가?
• RQ5 GCV나 REML을 통해 $k$를 최적화하는 데 드는 계산 부담 없이, 이러한 점검 방법을 실무에서 routine하게 사용할 수 있는가?

주요 결과

• 잔차 차분 기반의 가설 검정($\kappa$) 방법은 GCV 및 REML과 동일한 성능을 보이며, 더 낮은 계산 비용을 제공한다.
• 잔차 재스무딩 방법 역시 전체 최적화와 유사한 성능을 보이며, 전체 모형 재적합이 아닌 개별 스무딩 항목의 재스무딩만으로도 충분하다.
• 6주기의 사인파와 '버팀' 함수의 경우, 모든 방법이 $k \geq 20$를 선택하였으며, 이는 $k=10$이 파라미터가 복잡한 함수에 대해 부적절함을 시사한다.
• 가설 검정 방법은 다른 방법들보다 더 작은 $k$ 값을 선택하는 경향이 있어, 부적절한 $k$를 탐지하는 데 더 보수적인 경향이 있음을 시사한다.
• REML 최적화 과정은 종종 필요 이상으로 더 큰 $k$ 값을 선택하는 경향이 있었으며, 특히 $n=100$일 경우 MSE가 높아지기도 했다.
• 제안된 방법의 계산적 이점은 스무딩 항목의 수가 많아질수록 커지며, 이는 복잡한 GAMs에서 일상적 사용에 이상적이다.