[논문 리뷰] Generalized tensor regression with covariates on multiple modes

Zhuoyan Xu, Jiaxin Hu외 1명|arXiv (Cornell University)|2019. 10. 21.

Tensor decomposition and applications참고 문헌 6인용 수 6

한 줄 요약

이 논문은 다중 모드에 대한 공변량을 포함하는 텐서 값 반응을 모델링할 수 있는 일반화된 텐서 회귀 프레임워크를 제안한다. 이는 연속형, 계수형, 이진형 데이터 유형을 모두 포함하는 고차원 분석을 가능하게 한다. 이 방법은 효율적인 교차 갱신 알고리즘을 사용하며, 이론적 정확도 보장을 제공하여 시뮬레이션과 실제 신경영상 및 네트워크 데이터 응용에서 최신 기술들을 능가한다.

ABSTRACT

We consider the problem of tensor-response regression given covariates on multiple modes. Such data problems arise frequently in applications such as neuroimaging, network analysis, and spatial-temporal modeling. We propose a new family of tensor response regression models that incorporate covariates, and establish the theoretical accuracy guarantees. Unlike earlier methods, our estimation allows high-dimensionality in both the tensor response and the covariate matrices on multiple modes. An efficient alternating updating algorithm is further developed. Our proposal handles a broad range of data types, including continuous, count, and binary observations. Through simulation and applications to two real datasets, we demonstrate the outperformance of our approach over the state-of-art.

연구 동기 및 목표

• 고차원 설정에서 다중 모드에 대한 공변량을 갖는 텐서 반응을 모델링하는 데 도전하는 문제를 해결한다.
• 단일 프레임워크 내에서 연속형, 계수형, 이진형 관측치를 포함한 다양한 데이터 유형에 대한 회귀 분석을 가능하게 한다.
• 복잡한 텐서 및 공변량 구조를 다룰 수 있는 계산적으로 효율적인 알고리즘을 개발한다.
• 고차원 설정에서 제안된 추정 절차의 이론적 정확도 보장을 확립한다.
• 시뮬레이션과 실제 데이터 응용을 통해 기존 최신 기술들보다 뛰어난 성능을 보여준다.

제안 방법

• 반응 텐서의 다중 모드에 대한 공변량을 포함하는 일반화된 텐서 회귀 모델을 제안한다.
• 다양한 지수족 분포에 적합한 우도 기반 또는 손실 기반 목적 함수를 사용하여 추정 문제를 수립한다.
• 텐서 계수와 공변량 효과에 대해 순차적으로 최적화하는 교차 갱신 알고리즘을 개발하여 계산 확장성을 확보한다.
• 다양한 모드에서 텐서 반응과 공변량 행렬의 고차원성을 다루기 위해 정규화 기법을 도입한다.
• 고차원 점점 증가하는 설정 하에서 엄밀한 통계적 분석을 통해 이론적 일致성과 추정 오차 한계를 확보한다.
• 단일 프레임워크 내에서 다양한 유형의 결과(연속형, 계수형, 이진형)를 허용함으로써 다변량 반응의 민첩한 모델링을 지원한다.

실험 결과

연구 질문

• RQ1 통계적 및 계산적 효율성을 유지하면서, 다중 모드 공변량을 포함하는 텐서 반응 회귀를 어떻게 확장할 수 있는가?
• RQ2 다중 모드 공변량이 있는 고차원 설정에서 제안된 방법의 이론적 정확도는 어떠한가?
• RQ3 이 방법은 연속형, 계수형, 이진형 반응과 같은 다양한 데이터 유형을 단일 프레임워크 내에서 효과적으로 처리할 수 있는가?
• RQ4 실제 데이터 세트에서 예측 정확도와 모델 적합도 측면에서 제안된 방법은 기존 최신 기술들과 어떻게 비교되는가?
• RQ5 고차원 텐서 및 공변량 공간에서 교차 갱신 알고리즘의 계산 확장성은 어떠한가?

주요 결과

• 제안된 방법은 시뮬레이션 연구와 실제 데이터 응용에서 최신 기술들보다 뛰어난 예측 정확도를 달성한다.
• 이론적 분석을 통해 고차원 설정에서 제안된 추정기의 일관성과 추정 오차 한계가 확인된다.
• 교차 갱신 알고리즘이 효율적으로 수렴하며, 텐서 및 공변량 차원이 증가함에 따라 잘 확장된다.
• 프레임워크는 단일 통합 회귀 모델 내에서 연속형, 계수형, 이진형 데이터 유형을 성공적으로 모델링한다.
• 신경영상 및 네트워크 데이터에 대한 실증 결과는 이 방법이 복잡한 실제 환경에서 강건성과 실용적 유용성을 보여준다.
• 텐서 반응과 공변량 행렬이 다중 모드에서 모두 고차원일 경우에도 이 방법은 뛰어난 성능을 유지한다.