[논문 리뷰] Bayesian Functional Generalized Additive Models with Sparsely Observed Covariates

Mathew W. McLean, Fabian Scheipl외 3명|arXiv (Cornell University)|2013. 05. 15.

Statistical Methods and Inference참고 문헌 42인용 수 5

한 줄 요약

이 논문은 희소하게 관측되고 오차가 있는 기능적 예측변수를 갖는 스칼라-기능 회귀를 위해 베이지안 기능적 일반화된 가감 모형(Bayesian functional generalized additive model, FGAM)을 제안한다. 이는 MCMC와 변분 추론를 통해 기능적 궤적과 모형 파라미터를 동시 추정함으로써 이루어지며, 재구성된 곡선의 불확실성을 고려함으로써 이중단계 접근법보다 우수한 성능을 보인다. 이는 희소한 종단적 자료에서 비선형이고 유연한 반응-예측변수 관계를 모델링할 수 있도록 한다.

ABSTRACT

The functional generalized additive model (FGAM) was recently proposed in McLean et al. (2013) as a more flexible alternative to the common functional linear model (FLM) for regressing a scalar on functional covariates. In this paper, we develop a Bayesian version of FGAM for the case of Gaussian errors with identity link function. Our approach allows the functional covariates to be sparsely observed and measured with error, whereas the estimation procedure of McLean et al. (2013) required that they be noiselessly observed on a regular grid. We consider both Monte Carlo and variational Bayes methods for fitting the FGAM with sparsely observed covariates. Due to the complicated form of the model posterior distribution and full conditional distributions, standard Monte Carlo and variational Bayes algorithms cannot be used. The strategies we use to handle the updating of parameters without closed-form full conditionals should be of independent interest to applied Bayesian statisticians working with nonconjugate models. Our numerical studies demonstrate the benefits of our algorithms over a two-step approach of first recovering the complete trajectories using standard techniques and then fitting a functional regression model. In a real data analysis, our methods are applied to forecasting closing price for items up for auction on the online auction website eBay.

연구 동기 및 목표

• 기존의 기능적 일반화된 가감 모형(FGAM)이 완전히 관측되고 노이즈가 없는 기능적 예측변수를 필요로 하는 한계를 해결하기 위해.
• 예측변수가 희소하게 관측되고 오차가 있을 경우, 기능적 궤적과 모형 파라미터를 동시에 추정하는 베이지안 프레임워크를 개발하기 위해.
• 먼저 스무딩을 통해 곡선을 재구성한 다음 회귀 모형을 피팅하는 이중단계 접근법의 정확도 부족을 해결하기 위해.
• 완전한 사후 추론을 통해 추정된 기능적 예측변수의 불확실성을 자연스럽게 반영하는 방법을 제공하기 위해.
• 기능적 예측변수가 비정규적으로 간격이 주어지고 측정 오차가 존재하는 현실적인 종단적 자료 설정으로 FGAM을 확장하기 위해.

제안 방법

• 기능적 예측변수를 기저 전개를 갖는 랜덤 효과로 표현하기 위해 선형 혼합 모형 설정을 사용하여, 희소 곡선의 민감하고 매끄러운 재구성을 가능하게 한다.
• 미지의 이元함수 F(X(t), t)를 모형화하기 위해 텐서곱 B스플라인을 통한 펜라이즈드 스퍼인을 사용하며, 스무딩 파라미터는 실증 베이즈 방법으로 추정한다.
• 분산 성분과 정밀도 파라미터에 대해 조건부 콘jugate 사전분포를 갖는 계층적 사전분포 구조를 적용하여 완전한 베이지안 추론를 가능하게 한다.
• 닫힌형 해가 없는 비공액의 전체 조건부 분포를 다루기 위해 맞춤형 MCMC 및 변분 베이즈 알고리즘을 개발한다.
• 잠재 변수에 대한 비가역 기대값을 근사하기 위해 변분 추론 체계에서 확률적 근사와 수치적 적분을 적용한다.
• 기능적 계수, 스무딩 파라미터, 오차 분산 등 모든 파라미터에 대해 평균장 변분 베이즈와 게이브스 샘플링을 통해 반복 업데이트를 구현한다.

실험 결과

연구 질문

• RQ1 희소하고 비정규적이며 오차가 있는 종단적 자료가 존재하는 상황에서, 베이지안 반모수적 접근법이 기능적 예측변수 궤적과 모형 파라미터를 동시에 추정할 수 있는가?
• RQ2 먼저 곡선을 스무딩한 다음 회귀를 수행하는 표준 이중단계 접근법과 비교해, 곡선과 회귀 파라미터의 동시 추정은 어떤가?
• RQ3 측정 오차와 희소 샘플링은 기능적 회귀 모형의 정확도와 불확실성 정량화에 어떤 영향을 미치는가?
• RQ4 이 복잡한 비공액 모형에 대해 MCMC와 변분 베이즈 방법은 계산 효율성과 사후 근사 품질 측면에서 어떻게 성능을 보이는가?
• RQ5 제안된 방법은 선형성을 가정하지 않고 기능적 예측변수와 스칼라 반응 사이의 비선형이고 가감적인 관계를 얼마나 민감하게 모델링할 수 있는가?

주요 결과

• 제안된 베이지안 FGAM은 특히 높은 측정 오차와 희소성 조건에서 예측 정확도 측면에서 이중단계 방법보다 뚜렷이 뛰어나다.
• MCMC와 변분 베이즈를 통한 동시 추정은 재구성된 기능적 곡선의 불확실성을 성공적으로 반영하며, 이는 이중단계 방법이 포착하지 못하는 부분이다.
• 변분 베이즈 알고리즘은 MCMC에 비해 계산 효율성이 뛰어나며, 유사한 사후 근사 품질을 제공하여 더 큰 데이터셋에의 확장성을 가능하게 한다.
• 제한된 데이터로도 각 주체당 하나 또는 두 개의 관측만 존재하는 상황에서도, 모델은 적절한 스무딩을 통해 미지의 이원함수 F(X(t), t)를 효과적으로 추정하며 과적합을 방지한다.
• 시뮬레이션 연구 결과, 기능적 계수 추정치에 대해 낮은 편향과 양호한 커버리지가 유지되며, 곡선당 하나 또는 두 개의 관측만 존재하는 경우에도 성능이 우수하다.
• eBay 경매 데이터 응용 사례에서, 모델은 입찰 행동의 복잡한 비선형 시간 패턴을 성공적으로 포착하여, 표준 FLM 및 이중단계 FGAM 방법보다 가격 예측 성능을 향상시켰다.