[논문 리뷰] Asymptotics for penalized splines in generalized additive models

Takuma Yoshida, Kanta Naito|arXiv (Cornell University)|2012. 08. 20.

Statistical Methods and Inference참고 문헌 19인용 수 5

한 줄 요약

이 논문은 Marx와 Eilers(1998)가 제안한 리지 보정 페널티 스플라인(RCPS) 방법을 사용하여 일반화된 가산 모형(GAMs)에서 페널티 스플라인 추정기의 점근적 정규성, 편향 및 분산을 수립한다. 기존 결과를 확장하여 RCPS 추정기의 점근적 정규성을 일반화된 가산 혼합 모형(GAMMs)에서 페널티 준우도(PQL) 추정에까지 확장함으로써, 신뢰구간과 같은 추론에 대한 이론적 근거를 제공한다.

ABSTRACT

This paper discusses asymptotic theory for penalized spline estimators in generalized additive models. The purpose of this paper is to establish the asymptotic bias and variance as well as the asymptotic normality of the penalized spline estimators proposed by Marx and Eilers (1998). Furthermore, the asymptotics for the penalized quasi likelihood fit in mixed models are also discussed.

연구 동기 및 목표

• 일반화된 가산 모형(GAMs)에서 페널티 스플라인 추정기의 엄밀한 점근적 이론을 개발하는 것, 특히 Marx와 Eilers(1998)가 제안한 리지 보정 페널티 스플라인(RCPS) 추정기를 중심으로 한다.
• 이전에 일반선형모형(GLMs)에 국한되어 있던 점근적 결과를 비정규 분포를 갖는 응답 변수를 가진 더 넓은 클래스의 GAMs로 확장하는 것.
• 일반화된 가산 혼합 모형(GAMMs)에서 페널티 준우도(PQL) 추정의 점근적 정규성을 수립하여, 페널티 스플라인과 혼합 모형 이론을 연결하는 것.
• RCPS 추정기를 사용하여 GAMs에서 부드러운 함수에 대한 근사 신뢰구간을 구성하기 위한 이론적 근거를 제공하는 것.

제안 방법

• 헤시안 행렬의 역행이 보장되도록 추가된 리지 페널티를 가진 페널티 로그우도를 최대화하는 리지 보정 페널티 스플라인(RCPS) 추정기를 사용한다.
• 반복적 백피팅이 필요 없는 비정규 설정에서 효율적으로 RCPS 추정기를 계산하기 위해 피셔-스코어 알고리즘을 적용한다.
• 알 수 없는 부드러운 함수 ηj(xj)를 B-스플라인 기저 함수로 표현하며, 근사점 수 Kn이 표본 크기 n과 함께 증가하도록 한다.
• 스무딩 파라미터 λn과 리지 페널티 γn이 추정기의 분포에 미치는 영향을 분석하여 점근적 편향과 분산을 유도한다.
• 추정식의 이차 테일러 전개와 규칙성 조건 하에서의 점근적 분포 근사화를 통해 점근적 정규성을 수립한다.
• 페널티 스플라인 스무딩을 혼합 모형 이론과 연결하기 위해 PQL 방법을 활용하며, 페널티 스플라인의 혼합 모형 표현을 이론적 분석에 활용한다.

실험 결과

연구 질문

• RQ1 일반화된 가산 모형(GAMs)에서 리지 보정 페널티 스플라인(RCPS) 추정기는 스무딩 파라미터와 근사점 배치에 대한 규칙성 조건 하에서 점근적 정규성을 확보하는가?
• RQ2 RCPS 추정기의 점근적 편향과 분산은 무엇이며, 스무딩 파라미터 λn과 근사점 수 Kn에 어떻게 의존하는가?
• RQ3 일반화된 가산 혼합 모형(GAMMs)에서 페널티 준우도(PQL) 추정은 점근적으로 정규분포를 따르는가? 그 극한 분포는 무엇인가?
• RQ4 GAMs에서 RCPS 추정기의 점근적 성질은 일반선형모형(GLMs)에서의 기존 결과를 어떻게 일반화하는가?
• RQ5 GAM에서 다중 예측 변수에 대한 추정된 부드러운 함수 ηj(xj)들의 공동 점근적 분포는 무엇이며, 구성 요소 간의 의존성은 추론에 어떤 영향을 미치는가?

주요 결과

• 적절한 λn 및 Kn 조건 하에서 GAMs에서의 RCPS 추정기는 점근적으로 정규분포를 따르며, 극한 분포는 진짜 부드러운 함수 ηj(xj) 중심에 위치한다.
• RCPS 추정기의 점근적 편향은 oP(λnKn1−m/n)의 순서를 가지며, 이는 진짜 함수의 곡률과 스무딩 파라미터에 의존한다. 여기서 m은 스플라인 페널티의 차수이다.
• RCPS 추정기의 점근적 분산은 n−1 곱하기 B-스플라인 기저와 페널티가 가미된 피셔 정보 행렬의 역행렬의 곱에 비례하며, 스무딩 파라미터에 의해 스케일링된다.
• 다양한 예측 변수에 대한 추정된 부드러운 함수 ηj(xj)들의 공동 점근적 분포는 다변량 정규분포이며, 교차공분산은 OP(n−1)의 순서를 가지며, 구성 요소 간의 점근적 독립성을 나타낸다.
• GAMMs에서 페널티 준우도(PQL) 추정은 점근적으로 정규분포를 따르며, PQL 기반 추론의 이론적 타당성을 비정규 응답 변수를 가진 가산 모형으로 확장한다.
• 이론적 결과는 GAMs에서 부드러운 함수에 대한 근사 신뢰구간 구성에 대한 지원을 제공하며, 규칙성 조건 하에서 신뢰수준이 명시된 수준으로 수렴하는 커버리지 확률을 보장한다.