[논문 리뷰] Mixtures of g-Priors for Generalised Additive Model Selection with Penalised Splines

Daniel Sabanés Bové, Leonhard Held외 1명|arXiv (Cornell University)|2011. 08. 17.

Bayesian Methods and Mixture Models참고 문헌 61인용 수 4

한 줄 요약

이 논문은 보정된 스플라인을 사용하는 일반화된 가산 모델에서 변수 및 함수 선택을 위한 객관적 베이지안 방법을 제안한다. g-우도의 혼합을 통해 실현 가능한 모델 선택과 계산 효율성과 일致성을 유지하면서도, 연속적인 혼합 g-우도를 사용하여 모형 파라미터에 대한 우도를 설정하고, 모형 간의 다중성 보정을 위한 우도를 설정한다.

ABSTRACT

We propose an objective Bayesian approach to the selection of covariates and their penalised splines transformations in generalised additive models. Specification of a reasonable default prior for the model parameters and combination with a multiplicity-correction prior for the models themselves is crucial for this task. Here we use well-studied and well-behaved continuous mixtures of g-priors as default priors. We introduce the methodology in the normal model and extend it to non-normal exponential families. A simulation study and an application from the literature illustrate the proposed approach. An efficient implementation is available in the R-package "hypergsplines".

연구 동기 및 목표

• 일반화된 가산 모델(GAMs)에서 동시에 변수 및 함수 선택을 위한 객관적 베이지안 프레임워크를 개발하는 것.
• 보정된 스플라인을 통합하여 모형 불확실성을 다루고, 수축과 모형 평균화를 지원하는 객관적 우도를 사용하여 GAMs에서의 도전 과제를 해결하는 것.
• 잘 알려진 연속적인 g-우도 혼합(초-우도)을 기본 우도로 사용하여 일관된 모형 선택과 신뢰할 수 있는 추론을 보장하는 것.
• 이전에 선형 모형에 적용된 초-우도를 비정규 가속 가속도 가속도수열 및 보정된 스플라인을 갖는 반모수 모형으로 확장하는 것.
• 전체 n×n 공분산 행렬의 고비용 분해를 피하기 위해 정밀도 행렬의 구조와 저차원 코レス키 분해를 활용하여 계산 효율성을 높이는 구현을 제공하는 것.

제안 방법

• 모형별 파라미터에 대한 기본 우도로 연속적인 g-우도 혼합을 사용하며, 정보 역설을 해결하기 위해 g를 초우도를 통해 랜덤 변수로 간주한다.
• 다양한 모형 간에 공유되는 파라미터에는 비정보성 불완전 우도를 사용하고, 모형별 계수에는 적절한 초-우도를 사용한다.
• 절단 다항식 기저를 사용하여 보정된 스플라인으로 부드러운 효과를 모형화하며, 스플라인 계수에 정규 우도를 적용하고 분산을 ρj로 스케일링하여 수축을 강제한다.
• 초-우도로부터 유도된 닫힌 형태의 주변 우도를 사용하여 일관된 모형 선택과 예측을 가능하게 한다.
• 정밀도 행렬 항등식을 통한 효율적 계산을 구현한다: V_d^{-1} = I_n - Z_d M_d^{-1} Z_d^T, 여기서 M_d = Z_d^T Z_d + D_d^{-1}, 이는 계산 복잡도를 감소시킨다.
• 전체 n×n 공분산 행렬이 아닌 저차원 행렬(JK × JK)에 대해 LU 및 코レス키 분해를 수행함으로써 확장성을 크게 향상시킨다.

실험 결과

연구 질문

• RQ1 객관적 베이지안 방법은 일반화된 가산 모델에서 동시에 변수 및 함수 선택을 위해 어떻게 확장될 수 있는가?
• RQ2 g-우도의 혼합이 보정된 스플라인을 갖는 GAMs에서 일관되고 신뢰할 수 있는 모형 선택을 가능하게 하며, 계산 가능성을 유지할 수 있는가?
• RQ3 특히 Liang 등(2008)의 제안 방식을 사용한 초-우도가 비정규 가속도 가속도수열에서 모형 선택 성능에 어떤 영향을 미치는가?
• RQ4 정밀도 행렬 표현과 효율적인 행렬 대수를 통해 고차원 GAMs에서의 계산 병목 현상을 어떻게 완화할 수 있는가?
• RQ5 시뮬레이션 및 실제 데이터 설정에서 기존 방법에 비해 변수 선택 정확도와 모형 적합도 측면에서 제안된 방법이 얼마나 뛰어나게 성능을 발휘하는가?

주요 결과

• 잘 알려진 초-우도를 사용하여 일관된 모형 선택과 모형 평균 예측을 달성하였으며, 이는 정규 선형 모형에서 잘 알려진 성능을 보인다.
• 이 방법은 초-우도를 일반화된 가산 모델과 보정된 스플라인으로 확장하여 반모수 설정에서 객관적 베이지안 추론을 가능하게 한다.
• 전체 n×n 공분산 행렬의 코レス키 분해를 피하고, 더 작은 JK×JK 행렬 M_d를 사용함으로써 계산 효율성이 크게 향상되었다.
• 모형에서 d_j = 0을 통해 자동으로 공변수 선택이 가능하고, d_j = K를 통해 비선형 효과의 형태 선택이 가능하며, d_j ∈ {0,1,…,K}는 스플라인 기저 차원을 나타낸다.
• 시뮬레이션 연구와 실제 응용 사례를 통해 관련 공변수와 부드러운 효과를 정확히 식별하고 과적합을 통제할 수 있음을 입증하였다.
• 실용적 구현을 위한 효율적인 R 패키지 'hypergsplines'가 제공되어 재현 가능하고 확장 가능한 베이지안 GAM 선택을 지원한다.