[論文レビュー] Multi-linear Tensor Autoregressive Models

Zebang Li, Xiao Han|arXiv (Cornell University)|Oct 3, 2021

Tensor decomposition and applications参考文献 47被引用数 5

ひとこと要約

本稿では、ベクトル化を回避し、元の多次元構造を保つテンソル値時系列のためのマルチリニアテンソル自己回帰モデル（TenAR）を提案する。3つの推定法（射影推定、最小二乗推定、最尤推定）を導入し、固定次元設定では漸近正規性を確立し、高次元設定では収束速度を示し、拡張されたベイズ情報量基準（BIC）を用いたモデル選択を実施。シミュレーションおよび実データ（Fama-Frenchポートフォリオ、タクシー需要など）において、予測性能が優れていることを示した。

ABSTRACT

Contemporary time series analysis has seen more and more tensor type data, from many fields. For example, stocks can be grouped according to Size, Book-to-Market ratio, and Operating Profitability, leading to a 3-way tensor observation at each month. We propose an autoregressive model for the tensor-valued time series, with autoregressive terms depending on multi-linear coefficient matrices. Comparing with the traditional approach of vectoring the tensor observations and then applying the vector autoregressive model, the tensor autoregressive model preserves the tensor structure and admits corresponding interpretations. We introduce three estimators based on projection, least squares, and maximum likelihood. Our analysis considers both fixed dimensional and high dimensional settings. For the former we establish the central limit theorems of the estimators, and for the latter we focus on the convergence rates and the model selection. The performance of the model is demonstrated by simulated and real examples.

研究の動機と目的

• ベクトル自己回帰モデルがテンソル構造を損なうという限界を克服し、マルチリニア関係を保つテンソル値自己回帰モデルを提案すること。
• テンソル形式を尊重し、推論を可能にする推定手順（射影、最小二乗、最尤）を開発すること。
• 固定次元設定下での最小二乗推定（LSE）および最尤推定（MLE）の漸近的性質を確立すること。
• 自己回帰次数およびKランクの最適選択を可能にする拡張されたベイズ情報量基準（BIC）を提案すること。
• 実世界のテンソル時系列データにおいて、標準的VARおよび単変量ARモデルと比較して、TenARモデルの優れた予測性能を示すこと。

提案手法

• 係数行列を用いたマルチリニア項を用いたテンソル自己回帰モデルを定式化し、各ラグ付きテンソルをモードごとのマルチリニア演算で乗算する。
• 係数行列の逐次最適化により最小二乗推定（LSE）を構築し、良好な初期値が必要となる。
• 分離可能な共分散仮定の下で最尤推定（MLE）を導出し、同様に逐次アルゴリズムで解く。
• LSEおよびMLEのための計算的に効率的な初期値として、射影に基づく推定法を提案し、若干の効率性を犠牲にして安定性を確保する。
• 自己回帰次数および各ラグごとのマルチリニア項の数（Kランク）の選択のため、拡張されたBICを導入する。
• 係数行列の推定に反復アルゴリズムを適用し、テンソルモードごとの反復更新を通じて収束をモニタリングする。

実験結果

リサーチクエスチョン

• RQ1 マルチリニア自己回帰モデルは、テンソル値時系列において、ベクトル化されたVARモデルと比較して、テンソル構造を保ち、解釈性を向上させることができるか？
• RQ2 固定次元設定下でのLSEおよびMLEの漸近的性質は何か？
• RQ3 高次元設定下での推定法の性能はどのように評価され、収束速度は何か？
• RQ4 拡張されたBICは、固定次元および高次元設定の両方で、最適な自己回帰次数およびKランクを一貫して選択できるか？
• RQ5 TenARモデルは、標準的VARおよび単変量ARモデルと比較して、テンソル値時系列の予測性能が優れているか？

主な発見

• タクシー需要データでは、7日間のラグ（p=7）を用いたTenARモデル（MLE）が、他のすべてのモデルを上回る予測性能を示した。
• Fama-Frenchポートフォリオデータでは、すべてのTenAR(p)モデルが個別のAR(p)およびVAR(p)モデルを上回り、特にp=7のときが最高の性能を示した。
• LSEとMLEは同等の性能を示し、最良のモデル（p=5）ではMLEがわずかにLSEを上回った。これは尤度アプローチの頑健性を示している。
• 射影推定法は、LSEおよびMLEの反復アルゴリズムの初期値として効果的に機能し、収束の安定性を向上させた。
• 拡張されたBICによるモデル選択は、固定次元および高次元設定の両方で一貫しており、最適なモデル構造を正しく同定した。
• モデル選択プロセスから、Kランクを増加させること必ずしも性能向上に繋がらないことが明らかになった（例：R=(1,1)がR=(3,3)を上回ったケースも存在）。これは、モデルの複雑さと性能のバランスが重要であることを示している。