[논문 리뷰] Bayesian Tensor Regression

Rajarshi Guhaniyogi, Shaan Qamar외 1명|arXiv (Cornell University)|2015. 09. 22.

Tensor decomposition and applications참고 문헌 13인용 수 3

한 줄 요약

이 논문은 스칼라 반응 변수를 텐서형 예측 변수로 모델링하기 위해 다중 방향 수축 사전을 사용하는 베이지안 텐서 회귀 프레임워크를 제안한다. 이 방법은 텐서의 구조를 유지하고 자동으로 희박성 유도를 가능하게 하며, 추정 및 예측에서 기존의 벡터화된 또는 기존의 텐서 회귀 방법보다 뛰어난 성능을 보인다. 특히 표본 수가 적은 신경영상 분석 응용 분야에서 뛰어난 성능을 발휘한다.

ABSTRACT

This article proposes a Bayesian approach to regression with a scalar response against vector and tensor covariates. Tensor covariates are commonly vectorized prior to analysis, failing to exploit the structure of the tensor, and resulting in poor estimation and predictive performance. We develop a novel class of multiway shrinkage priors for the coefficients in tensor regression models. Properties are described, including posterior consistency under mild conditions, and an efficient Markov chain Monte Carlo algorithm is developed for posterior computation. Simulation studies illustrate substantial gains over vectorizing or using existing tensor regression methods in terms of estimation and parameter inference. The approach is further illustrated in a neuroimaging application. Keywords: Dimension reduction; multiway shrinkage prior; magnetic resonance imaging (MRI); parafac decomposition; posterior consistency; tensor regression

연구 동기 및 목표

• 벡터화된 텐서 예측 변수를 사용하는 회귀 분석의 한계를 해결하기 위해, 공간적 구조를 손실하고 추정 및 예측 성능을 떨어뜨리는 문제를 해결한다.
• 텐서의 구조를 유지하고 수축 사전를 통해 자동 변수 선택이 가능한 베이지안 프레임워크를 개발한다.
• 유사한 조건 하에서 텐서 회귀의 사후 일치성을 확립한다.
• 낮은 또는 중간 표본 크기 설정에서 모수 및 예측 추정치에 대한 유효한 불확실성 측정을 제공한다.
• 수축 사전를 통해 모델 기반의 랭크 선택을 가능하게 하여 텐서 랭크 내외에서 희박성을 유도한다.

제안 방법

• PARAFAC 분해의 랭크 간 및 랭크 내에서 희박성을 유도하기 위한 새로운 다중 방향 수축 사전의 클래스를 제안한다.
• PARAFAC 분해의 구성 요소 벡터의 척도와 희박성을 제어하기 위해 역감마 및 딜레르트 성분을 포함하는 계층적 사전 구조를 사용한다.
• 마르코프 체인 몬테카를로(MCMC) 알고리즘을 사용하여 사후 분포를 계산하고, 전체 베이지안 추론과 불확실성 측정을 가능하게 한다.
• 효율적 차원 감소를 위해 텐서의 구조를 유지하는 데 중점을 두고, 랭크-R PARAFAC 분해를 통해 매개변수를 텐서 구조로 제약한다.
• 진짜 텐서 매개변수 주변의 이웃에 대한 사후 확률의 하한을 구성함으로써, 농도 부등식을 활용하여 사후 일치성을 도출한다.
• 하향식 사전 구조를 통해 하향식 하이퍼파라미터를 도입하여 모델 복잡도를 데이터 기반으로 적응적으로 조절함으로써, 교차검증을 통한 튜닝에 의존하지 않도록 한다.

실험 결과

연구 질문

• RQ1 다중 방향 수축 사전를 갖는 베이지안 텐서 회귀 모델이 온화한 정규성 조건 하에서 사후 일치성을 달성할 수 있는가?
• RQ2 제안된 방법은 벡터화된 회귀 및 기존의 텐서 회귀 방법과 비교하여 추정 정확도 및 예측 성능에서 어떻게 성능을 내는가?
• RQ3 제안된 수축 사전는 텐서 랭크 간 및 랭크 내에서 얼마나 효과적으로 희박성을 유도할 수 있는가? 이는 신경영상 데이터에서 중요한 영역 선택에 어떻게 기여하는가?
• RQ4 낮은 또는 중간 표본 크기 설정에서 모수 및 예측 추정치에 대한 유효한 불확실성 측정을 제공하는가?
• RQ5 계층적 사전 구조는 교차검증을 통한 튜닝 파라미터 없이도 자동으로 데이터 적응형 모델 선택을 가능하게 하는가?

주요 결과

• 제안된 베이지안 텐서 회귀 모델은 온화한 정규성 조건 하에서 사후 일치성을 확보하며, 표본 크기가 증가함에 따라 진짜 매개변수로 수렴함을 보장한다.
• 시뮬레이션 연구 결과, 특히 고차원이고 표본 수가 적은 설정에서, 벡터화된 회귀 및 기존의 텐서 회귀 방법보다 추정 및 모수 추론 성능에서 뚜렷한 향상을 보였다.
• 다중 방향 수축 사전는 텐서 랭크 간 및 랭크 내에서 효과적으로 희박성을 유도하여, 텐서 내 중요한 볼륨 또는 영역의 자동 선택을 가능하게 하였다.
• MCMC 알고리즘은 전체 베이지안 추론을 가능하게 하며, 매개변수 및 예측에 대한 유효한 불확실성 측정을 제공한다. 이는 표본 수가 적은 설정에서 매우 중요하다.
• 교차검증을 통한 튜닝에 의존하는 펜리티드 최대우도 방법보다 성능이 뛰어나며, 이는 자동 조정 가능한 계층적 사전 구조를 통해 모델 복잡도를 적응적으로 조절하기 때문이다.
• 신경영상 응용 분야에서, 이 방법은 결과와 관련된 생물학적으로 의미 있는 뇌 영역을 성공적으로 식별하였으며, 실용성과 해석 가능성 모두를 입증하였다.