[論文レビュー] Generalized tensor regression with covariates on multiple modes

Zhuoyan Xu, Jiaxin Hu+1 more|arXiv (Cornell University)|Oct 21, 2019

Tensor decomposition and applications参考文献 6被引用数 6

ひとこと要約

本稿では、複数のモードにわたる予測変数を伴うテンソル値応答をモデル化する一般化されたテンソル回帰フレームワークを提案する。この手法は、連続的、カウント、バイナリのデータタイプを含む高次元解析を可能にする。効率的な交互更新アルゴリズムを採用し、理論的精度保証を確立しており、シミュレーションおよび神経画像データやネットワークデータの実世界応用において、最先端の手法を上回る性能を示す。

ABSTRACT

We consider the problem of tensor-response regression given covariates on multiple modes. Such data problems arise frequently in applications such as neuroimaging, network analysis, and spatial-temporal modeling. We propose a new family of tensor response regression models that incorporate covariates, and establish the theoretical accuracy guarantees. Unlike earlier methods, our estimation allows high-dimensionality in both the tensor response and the covariate matrices on multiple modes. An efficient alternating updating algorithm is further developed. Our proposal handles a broad range of data types, including continuous, count, and binary observations. Through simulation and applications to two real datasets, we demonstrate the outperformance of our approach over the state-of-art.

研究の動機と目的

• 高次元設定下で、複数のモードに予測変数を有するテンソル応答をモデル化する課題に対処すること。
• 連続的、カウント、バイナリ観測値を含む多様なデータタイプの回帰分析を、統一されたフレームワーク内で可能にすること。
• 複雑なテンソルおよび予測変数構造を扱える計算的に効率的なアルゴリズムの開発。
• 高次元設定下での推定手順の理論的精度保証の確立。
• シミュレーションおよび実データ応用を通じて、既存の最先端手法を上回る優れた性能を示すこと。

提案手法

• 応答テンソルの複数モードに予測変数を組み込む一般化されたテンソル回帰モデルを提案する。
• さまざまな指数型分布族に適した尤度ベースまたは損失ベースの目的関数を用いて、推定問題を定式化する。
• テンソル係数と予測変数効果の間で反復的に最適化を行う交互更新アルゴリズムを開発し、計算スケーラビリティを確保する。
• 複数モードにわたるテンソル応答および予測変数行列の両方における高次元性を扱うための正則化技術を導入する。
• 高次元漸近的条件下での厳密な統計的分析を通じて、一貫性および推定誤差の上限を保証する。
• 連続的、カウント、バイナリの異なるタイプの結果を同時に扱える柔軟なマルチ変数応答のモデル化を可能にする。

実験結果

リサーチクエスチョン

• RQ1 統計的および計算的効率性を維持しつつ、複数モードの予測変数を含むテンソル応答回帰をどのように拡張できるか？
• RQ2 複数モードの予測変数を伴う高次元設定下での、提案手法の理論的精度はいかほどか？
• RQ3 本手法は、連続的、カウント、バイナリの応答といった多様なデータタイプを、統一されたフレームワーク内で効果的に処理できるか？
• RQ4 実世界のデータセットにおいて、提案手法は最先端の手法と比較して予測精度およびモデル適合度において優れているか？
• RQ5 高次元テンソルおよび予測変数空間において、交互更新アルゴリズムの計算スケーラビリティはどの程度か？

主な発見

• シミュレーション研究および実データ応用において、提案手法は最先端の手法を上回る優れた予測精度を達成した。
• 理論的分析により、高次元設定下での推定器の一貫性および推定誤差の上限が確認された。
• 交互更新アルゴリズムは効率的に収束し、テンソルおよび予測変数の次元が増加しても良好にスケーリングされた。
• 本フレームワークは、連続的、カウント、バイナリの多様なデータタイプを、単一の統一された回帰モデル内で効果的にモデル化できた。
• 神経画像データおよびネットワークデータに対する実証的結果から、本手法の強健性および複雑な実世界設定における実用的有用性が示された。
• テンソル応答および予測変数行列の両方が複数モードにわたり高次元であっても、本手法は強力な性能を維持した。