[논문 리뷰] Generalized Additive Model Selection

Alexandra Chouldechova, Trevor Hastie|arXiv (Cornell University)|2015. 06. 11.

Statistical Methods and Inference참고 문헌 9인용 수 60

한 줄 요약

GAMS EL은 고차원 설정에서 희박한 일반화선형가산모형을 피팅하기 위한 정규화된 우도 방법으로, 각 예측변수에 대해 영, 선형 또는 비선형 효과를 선택한다. 이 방법은 조정파aram터 경로를 최적화하기 위해 블록별 좌표강하를 사용하며, 특히 진짜 효과 중 일부가 선형일 경우 기존 방법보다 변수 선택 성능이 뛰어나면서도 강력한 예측 성능와 해석 가능성도 유지한다.

ABSTRACT

We introduce GAMSEL (Generalized Additive Model Selection), a penalized likelihood approach for fitting sparse generalized additive models in high dimension. Our method interpolates between null, linear and additive models by allowing the effect of each variable to be estimated as being either zero, linear, or a low-complexity curve, as determined by the data. We present a blockwise coordinate descent procedure for efficiently optimizing the penalized likelihood objective over a dense grid of the tuning parameter, producing a regularization path of additive models. We demonstrate the performance of our method on both real and simulated data examples, and compare it with existing techniques for additive model selection.

연구 동기 및 목표

• 다수의 예측변수가 불필요하거나 중복되는 고차원 일반화선형가산모형의 과제를 해결한다.
• 각 예측변수에 대해 영, 선형 또는 비선형 효과를 적응적으로 선택하는 방법을 개발하며, 선형 관계가 충분할 경우도 해석 가능성을 유지한다.
• 특히 일부 진짜 효과가 선형인 경우 SpAM과 mgcv와 같은 기존 방법보다 모형 선택 성능을 향상시킨다.
• 정규화 경로 접근법을 통해 희박한 가산모형의 스케일링 및 효율적인 피팅을 가능하게 한다.
• 데이터 기반 증거에 따라 영, 선형 및 가산모형 사이를 보간하는 통합 프레임워크를 제공한다.

제안 방법

• 성분 함수에 대한 구조화된 페널티 항을 포함한 정규화된 음의 로그우도 목표함수를 설정한다.
• 조밀한 조정파aram터 그리드를 통해 목표함수를 최적화하기 위해 블록별 좌표강하 알고리즘을 사용하며, 전체 정규화 경로를 생성한다.
• 스플라인의 부드러움과 희박성을 강제하기 위해 세제곱 스플라인과 제2차 차분을 사용하여 기저함수와 페널티 행렬을 구성한다.
• 비선형성과 선형성에 대한 상대적 페널티를 제어하는 조정파aram터를 포함하여, 데이터 기반으로 기능 형태 간 선택을 가능하게 한다.
• 비선형 성분과 선형 성분을 구분하는 복합 페널티 구조를 갖춘 스무딩 스플라인을 사용한다.
• `gamsel` R 패키지의 `cv.gamsel` 함수를 통해 교차검증을 구현하여 1표준오차 규칙을 사용해 최적의 조정파aram터를 선택한다.

실험 결과

연구 질문

• RQ1 정규화된 우도 접근법은 고차원 일반화선형가산모형에서 영, 선형 또는 비선형 효과를 효과적으로 선택할 수 있는가?
• RQ2 일부 진짜 성분 함수가 선형인 경우 GAMSEL의 변수 선택 성능는 SpAM과 비교해 어떻게 되는가?
• RQ3 GAMSEL은 mgcv의 자동 항 선택보다 영, 선형 및 비선형 효과에 대해 정밀도와 재현율 측면에서 더 뛰어나게 성능을 발휘하는가?
• RQ4 GAMSEL의 정규화 경로와 블록별 좌표강하 알고리즘이 계산 효율성과 정확도 측면에서 어떻게 스케일링되는가?
• RQ5 GAMSEL은 실제 및 시뮬레이션 데이터에서 복잡한 비선형 관계를 포착하면서도 얼마나 높은 해석 가능성 유지가 가능한가?

주요 결과

• GAMSEL은 mgcv의 gam.selection보다 변수 선택에서 뚜렷한 우위를 보이며, 영 대 비영 오분류율이 0.25로 mgcv 방법의 0.44–0.51 범위를 압도한다.
• 모든 mgcv 방법보다 높은 정밀도(0.61)를 기록하여 가짜 양성(false positive) 수를 줄였다.
• γ = 0.4일 때 GAMSEL은 선형 항의 86%를 재현했으며, mgcv의 최고 성능인 52%를 뛰어넘었다.
• 모든 시뮬레이션에서 비영 항의 재현율을 97%로 유지하면서도 모든 mgcv 변종보다 높은 정밀도를 확보했다.
• 모든 효과가 비선형인 경우 GAMSEL은 SpAM과 경쟁 가능했지만, 일부 효과가 선형인 경우에선 상당히 뛰어난 성능을 보였다.
• 100회의 시뮬레이션에서 전체 GAMSEL 정규화 경로를 계산하는 평균 시간은 3.1초로 계산 효율성을 입증했다.