[論文レビュー] Power Iteration for Tensor PCA

Jiaoyang Huang, Daniel Zhengyu Huang+2 more|arXiv (Cornell University)|Dec 26, 2020

Tensor decomposition and applications参考文献 53被引用数 7

ひとこと要約

本稿は、スプライクテンソルモデルにおけるテンソルパワー反復の収束に関する必要十分条件を確立し、スプライク強度および信号の線形関数への推定器が漸近的に正規分布（ランク1）または正規分布の混合（複数ランク）に従うことを示した。これにより、有効かつ効率的な信頼区間の構築が可能となる。結果は、非漸近的・有限標本の枠組みにおいて、古典的PCAの推論を高次元テンソルへと拡張するものである。

ABSTRACT

In this paper, we study the power iteration algorithm for the spiked tensor model, as introduced in [44]. We give necessary and sufficient conditions for the convergence of the power iteration algorithm. When the power iteration algorithm converges, for the rank one spiked tensor model, we show the estimators for the spike strength and linear functionals of the signal are asymptotically Gaussian; for the multi-rank spiked tensor model, we show the estimators are asymptotically mixtures of Gaussian. This new phenomenon is different from the spiked matrix model. Using these asymptotic results of our estimators, we construct valid and efficient confidence intervals for spike strengths and linear functionals of the signals.

研究の動機と目的

• テンソルPCAにおける統計的推論ツール、特にスプライク強度および信号関数への信頼区間の不足を解消すること。
• 特に $k \geq 3$ の場合に、スプライクテンソルモデルにおけるテンソルパワー反復の収束条件を確立すること。
• パワー反復におけるスプライク強度および信号ベクトルの線形関数への推定器の漸近的分布を導出すること。
• 精密な漸近的理論を用いて、バイアスおよび $L_2$-リスクの制限を克服する有効かつ効率的な信頼区間を構築すること。
• 最大尤度推定がNP困難となるような状況においても、計算の実行可能性と統計的推論のギャップを埋めること。

提案手法

• 初期値としてランダムな単位ベクトルを用い、再帰的定義 $\mathbf{u}_{t+1} = \frac{\mathbf{X}[\mathbf{u}_t^{\otimes(k-1)}]}{\|\mathbf{X}[\mathbf{u}_t^{\otimes(k-1)}]\|_2}$ で定義されるテンソルパワー反復アルゴリズムを提案する。
• ランク1および複数ランクのスプライクテンソルモデルにおけるパワー反復推定器 $\widehat{\mathbf{v}}$ の漸近的分布を分析する。
• 推定器 $\langle \mathbf{a}, \widehat{\mathbf{v}} \rangle$ の極限分布が、モデルのランクに応じて正規分布または正規分布の混合に収束することを導出する。
• 信頼区間の構築を可能にするために、$\sqrt{n} \left( \beta_i - \widehat{\beta} + \frac{k/2 - 1}{\widehat{\beta}} \right) \xrightarrow{d} \mathcal{N}(0,1)$ を確立する。
• 推定誤差をバイアス項とノイズ項に分解し、ノイズ項がノイズテンソル $\mathbf{Z}$ の独立同分布の成分に対する中心極限定理により漸近的に正規分布に従うことを示す。
• 推定器における確率的誤差を制御するため、$\|\mathbf{Z}[\mathbf{v}^{\otimes(k-1)}]\|_2$ に対する高確率バウンドを適用する。

実験結果

リサーチクエスチョン

• RQ1 スプライクテンソルモデルにおけるテンソルパワー反復アルゴリズムが収束する条件は何か？
• RQ2 ランク1および複数ランクのスプライクテンソルモデルにおける信号ベクトルのパワー反復推定器の漸近的分布は何か？
• RQ3 パワー反復推定器を用いて、スプライク強度および信号ベクトルの線形関数への有効かつ効率的な信頼区間を構築できるか？
• RQ4 推定器の漸近的挙動は、古典的なスプライク行列モデルとどのように異なるか？
• RQ5 信号対ノイズ比 $\beta$ は、推定器の収束性および分布的性質を決定づける役割を果たすか？

主な発見

• パワー反復アルゴリズムは、$\beta \gg n^{(k-2)/2}$ である場合にかつその場合にのみ収束する。収束の鋭い閾値が確立された。
• ランク1スプライクテンソルモデルでは、適切な正規化のもとで推定器 $\langle \mathbf{a}, \widehat{\mathbf{v}} \rangle$ は漸近的に正規分布に従う。
• 複数ランクモデルでは、推定器 $\langle \mathbf{a}, \widehat{\mathbf{v}} \rangle$ は正規分布の混合に収束する。これは行列の場合には観察されない新規な現象である。
• スプライク強度の推定器 $\widehat{\beta}$ は、$\sqrt{n} \left( \beta_i - \widehat{\beta} + \frac{k/2 - 1}{\widehat{\beta}} \right) \xrightarrow{d} \mathcal{N}(0,1)$ を満たし、有効な信頼区間の構築が可能となる。
• 条件 $|\beta_1| \gtrsim n^{(k-2)/2 + \varepsilon}$ の下で、プラグイン推定器 $\langle \mathbf{a}, \widehat{\mathbf{v}} \rangle$ のバイアスは漸近的に無視可能となる。
• 推定器の漸近的分散は、$\mathbf{a}$ が信号ベクトルの直交補空間への射影に依存し、$\| \mathbf{a} - \langle \mathbf{a}, \widehat{\mathbf{v}} \rangle \widehat{\mathbf{v}} \|_2^2 / n$ で記述される。