[논문 리뷰] Scalable high-dimensional Bayesian varying coefficient models with unknown within-subject covariance

Ray Bai, Mary Regina Boland외 1명|arXiv (Cornell University)|2019. 07. 15.

Statistical Methods and Inference참고 문헌 64인용 수 6

한 줄 요약

이 논문은 알려지지 않은 내부 주체 공분산을 가진 고차원 변동 계수 모형을 위한 확장 가능한 베이지안 방법인 비모수적 변동 계수 스팁-슬래브 라소(NVC-SSL)를 제안한다. 이 방법은 유연하게 시간적 상관관계를 모델링하기 위해 기능적 난수 효과를 사용하며, 선형 스케일링의 ECM 및 근사 MCMC 알고리즘을 활용해 효율적인 최대사후확률 추정과 불확실성 정량화를 실현함으로써 고차원 종속 또는 기능적 데이터에서 신뢰할 수 있는 변수 선택과 추론을 가능하게 한다.

ABSTRACT

Nonparametric varying coefficient (NVC) models are useful for modeling time-varying effects on responses that are measured repeatedly for the same subjects. When the number of covariates is moderate or large, it is desirable to perform variable selection from the varying coefficient functions. However, existing methods for variable selection in NVC models either fail to account for within-subject correlations or require the practitioner to specify a parametric form for the correlation structure. In this paper, we introduce the nonparametric varying coefficient spike-and-slab lasso (NVC-SSL) for Bayesian high-dimensional NVC models. Through the introduction of functional random effects, our method allows for flexible modeling of within-subject correlations without needing to specify a parametric covariance function. We further propose several scalable optimization and Markov chain Monte Carlo (MCMC) algorithms. For variable selection, we propose an Expectation Conditional Maximization (ECM) algorithm to rapidly obtain maximum a posteriori (MAP) estimates. Our ECM algorithm scales linearly in the total number of observations $N$ and the number of covariates $p$. For uncertainty quantification, we introduce an approximate MCMC algorithm that also scales linearly in both $N$ and $p$. We demonstrate the scalability, variable selection performance, and inferential capabilities of our method through simulations and a real data application. These algorithms are implemented in the publicly available R package NVCSSL on the Comprehensive R Archive Network.

연구 동기 및 목표

• 알려지지 않은 내부 주체 상관관계 구조를 가진 고차원 비모수적 변동 계수(NVC) 모형을 위한 확장 가능한 베이지안 방법의 부족을 해결한다.
• 내부 주체 상관관계를 忽시하거나 사전에 정해진 파라미터 공분산 형태를 요구하는 빈도주의 페널티 NVC 모형의 한계를 극복한다.
• 복잡한 의존성 구조를 가진 고차원 NVC 모형에서 동시 추정, 변수 선택, 불확실성 정량화를 수행할 수 있는 방법을 개발한다.
• 새로운 최적화 및 MCMC 알고리즘을 통해 변수 수 $p$와 총 관측 수 $N$ 양쪽 모두에서 계산의 확장 가능성을 보장한다.
• 약한 신호 탐지 및 다양한 기능적 형태(예: 평탄한, 일정한 계수 함수 포함)의 민감한 모형화를 가능하게 한다.

제안 방법

• 기능적 계수에 대한 비분離형 스팁-슬래브 그룹 라소 사전분포인 NVC-SSL 사전분포를 제안하여 자동 스파arsity 선택과 알려지지 않은 매끄러움 및 스파arsity 수준에 대한 적응성을 가능하게 한다.
• 내부 주체 상관관계를 기능적 난수 효과로 모델링하여 사전에 파라미터 공분산 구조를 설정할 필요 없이 처리한다.
• 최대사후확률(MAP) 추정을 위한 기대조건최대화(ECM) 알고리즘을 개발하여 $N$과 $p$에 대해 선형 스케일링된다.
• 불확실성 정량화를 위한 근사 MCMC 알고리즘을 도입하여 역시 $N$과 $p$에 대해 선형 스케일링되며, 사후 추론을 가능하게 한다.
• 매끄러운 계수 함수를 위한 기저 전개를 사용하고 기저 계수에 계층적 사전분포를 설정하여 수축과 변수 선택을 가능하게 한다.
• 재현 가능성과 커뮤니티 활용을 위해 공개된 R 패키지 NVCSSL을 CRAN에 배포하여 구현하였다.

실험 결과

연구 질문

• RQ1 비모수적 상관관계 구조를 가정하지 않고 알려지지 않은 내부 주체 공분산을 탄력적으로 모델링할 수 있는 고차원 NVC 모형을 베이지안 방식으로 개발할 수 있는가?
• RQ2 복잡한 시간적 의존성 구조를 가진 고차원 NVC 모형에서 변수 선택과 추정을 효율적으로 수행할 수 있는가?
• RQ3 대규모 데이터에서 $N$과 $p$에 대해 선형 스케일링이 보장되는 최적화 및 MCMC 알고리즘을 설계할 수 있는가?
• RQ4 유한 표본에서 약한 신호 탐지 및 다양한 기능적 형태(예: 평탄한, 시간에 따라 변하지 않는)의 정확한 복원 능력은 어떠한가?
• RQ5 다양한 내부 주체 상관관계 구조 하에서 변수 선택 일致성과 불확실성 정량화 성능은 어떠한가?

주요 결과

• ECM 알고리즘에서 NVC-SSL 방법은 $N$과 $p$에 대해 선형 스케일링을 달성하여 고차원 설정에서도 빠른 MAP 추정이 가능하다.
• 근사 MCMC 알고리즘 역시 $N$과 $p$에 대해 선형 스케일링되며, 대규모 데이터 세트에서 효율적인 불확실성 정량화를 가능하게 한다.
• 이 방법은 약한 신호를 성공적으로 탐지하고 평탄하고 일정한 계수 함수를 포함한 다양한 기능적 형태를 정확히 복원한다.
• 시뮬레이션 연구에서 다양한 내부 주체 상관관계 구조 하에서 뛰어난 변수 선택 성능과 신뢰할 수 있는 함수 추정 성능을 입증한다.
• 실제 데이터 응용은 고차원 예측 변수를 가진 복잡한 종속 또는 기능적 데이터 설정에서 이 방법의 실용적 유용성을 확인한다.
• NVC-SSL 사전분포 하에서 사후 수축에 대한 이론적 지원을 제공하며, 알려지지 않은 스파arsity 및 매끄러움 수준에 대한 적응성에 충분한 조건을 설정한다.