[論文レビュー] Tensor Factor Model Estimation by Iterative Projection

Yuefeng Han, Rong Chen+2 more|arXiv (Cornell University)|Jun 4, 2020

Tensor decomposition and applications参考文献 30被引用数 14

ひとこと要約

本稿では、高次元テンソル時系列におけるテンソル要因モデルを推定する反復直交射影法を提案する。これは、動的設定へのタッカー分解の拡張である。自己相関とテンソルアンフォールディングを活用することで、推定精度が向上し、収束速度が速くなる。サンプルサイズと収束最適性に関する理論的保証が得られる。

ABSTRACT

Tensor time series, which is a time series consisting of tensorial observations, has become ubiquitous. It typically exhibits high dimensionality. One approach for dimension reduction is to use a factor model structure, in a form similar to Tucker tensor decomposition, except that the time dimension is treated as a dynamic process with a time dependent structure. In this paper we introduce two approaches to estimate such a tensor factor model by using iterative orthogonal projections of the original tensor time series. These approaches extend the existing estimation procedures and improve the estimation accuracy and convergence rate significantly as proven in our theoretical investigation. Our algorithms are similar to the higher order orthogonal projection method for tensor decomposition, but with significant differences due to the need to unfold tensors in the iterations and the use of autocorrelation. Consequently, our analysis is significantly different from the existing ones. Computational and statistical lower bounds are derived to prove the optimality of the sample size requirement and convergence rate for the proposed methods. Simulation study is conducted to further illustrate the statistical properties of these estimators.

研究の動機と目的

• 動的依存性を有する一般化されたテンソル時系列のための統計枠組みの欠如に対処する。
• 高次元テンソルデータにおける複雑な時間的ダイナミクスを捉える要因モデルを構築する。
• 既存のテンソル要因モデル手法に比べ、推定精度と収束速度を向上させる。
• 方法の最適性を証明するため、サンプルサイズと収束速度の理論的下界を確立する。
• 従来のタッカー分解を、テンソル時系列における時変要因構造を組み込む形に拡張する。

提案手法

• テンソル時系列の直交射影を用いて低ランク信号成分を推定する2つの反復射影アルゴリズムを提案する。
• 時間的ダイナミクスを捉えるために、反復更新において自己相関構造を組み込む。
• 反復処理中に異なるモードに沿ってテンソルをアンフォールディングし、多次元データ構造を適切に扱う。
• 行列およびテンソルの集中不等式を用いて、推定誤差の確率的バインドを導出する。
• 時系列文脈に適合させるために修正を加えた高次特異値分解（HOSVD）の原則を適用する。
• 提案手法の最適性を検証するため、計算的および統計的下界を確立する。

実験結果

リサーチクエスチョン

• RQ1 複雑な時間的ダイナミクスを有する高次元テンソル時系列において、テンソル要因モデルをどのように効果的に推定できるか？
• RQ2 時変成分を有するテンソル要因モデルにおいて、一貫性のある推定を達成するための最適なサンプルサイズ要件は何か？
• RQ3 提案された反復射影手法は、既存の手法と比較して収束速度および推定精度においてどのように異なるか？
• RQ4 提案手法の収束速度とサンプルサイズの最適性を証明するため、理論的下界を導出可能か？
• RQ5 自己相関は、テンソル要因モデルにおける推定性能の向上にどのような役割を果たすか？

主な発見

• 提案された反復射影手法は、既存の手続きよりも収束速度が速く、推定精度が高くなる。
• 理論的解析により、サンプルサイズ要件が最適であり、導出された計算的および統計的下界と一致することが示された。
• 推定量の収束速度はミニマックス下界と一致しており、理論的最適性を示している。
• 弱い要因に対してもロバストであり、一部の要因がテンソル要素の小さな部分にしか影響しない状況でも精度を維持する。
• シミュレーションスタディにより、推定量の統計的性質の向上が確認された。特に、安定性と低い平均二乗誤差が得られた。
• 理論的バインドは高い確率で成立し、一般のノイズ仮定（例：サブガウスノイズまたはガウスノイズ）下でも信頼性の高い性能を示す。