[論文レビュー] Doubly Decomposing Nonparametric Tensor Regression

Masaaki Imaizumi, Kohei Hayashi|arXiv (Cornell University)|Jun 19, 2015

Tensor decomposition and applicationsMathematics参考文献 28被引用数 20

ひとこと要約

本稿では、高次テンソル回帰における次元の呪いを軽減するために、低ランクテンソル分解と加法的乗法的非パラメトリックモデルを組み合わせた、二重に分解された非パラメトリックテンソル回帰（AMNR）を提案する。入力テンソルと関数空間の両方を分解することにより、$ O(n^{-\beta/(2\beta + \max_k I_k)}) $ の高速な収束速度を達成し、標準的な非パラメトリック手法の収束速度を著しく上回りながら、滑らかさの条件下で同じ関数クラスと一貫性を保つ。

ABSTRACT

Nonparametric extension of tensor regression is proposed. Nonlinearity in a high-dimensional tensor space is broken into simple local functions by incorporating low-rank tensor decomposition. Compared to naive nonparametric approaches, our formulation considerably improves the convergence rate of estimation while maintaining consistency with the same function class under specific conditions. To estimate local functions, we develop a Bayesian estimator with the Gaussian process prior. Experimental results show its theoretical properties and high performance in terms of predicting a summary statistic of a real complex network.

研究の動機と目的

• 入力次元 $ \prod_k I_k $ が高いため収束速度が劣化する非パラメトリックテンソル回帰における次元の呪いを解消すること。
• 真の関数が非線形またはフルランクである場合に高いバイアスを生じる線形テンソル回帰（TLR）の限界を克服すること。
• 表現力のある関数クラスの表現を維持しながら、有効次元を著しく削減する非パラメトリックモデルの構築。
• 入力空間と関数空間の両方における構造的分解を活用することで、標準的な非パラメトリック手法よりも高速な収束速度を達成すること。
• 滑らかさおよび正則性の条件下で、事後分布の収縮とリスクバウンダリーに関する理論的保証を提供すること。

提案手法

• 回帰関数をランク1テンソル成分に適用された局所関数の積の和としてモデル化する、加法的乗法的非パラメトリック回帰（AMNR）を提案する。
• 入力テンソル $ X $ をランク1テンソルの和 $ \sum_r \lambda_r \bigotimes_k x_r^{(k)} $ として表すCANDECOMP/PARAFAC（CP）分解を用い、成分ごとのモデリングを可能にする。
• 各成分関数にガウス過程（GP）事前分布を適用し、不確実性の定量化を伴う柔軟な非パラメトリック推定を可能にする。
• 二重分解を適用：入力テンソル空間をCP分解により、関数空間を加法的乗法的展開 $ f = \sum_m \prod_k g_m^{(k)} $ により分解し、有効次元を低減する。
• メトリックエントロピーおよび被覆数の議論を用いて、事後分布の収縮速度を確立し、標準的な非パラメトリック手法の収束速度を上回ることを示す。
• 無限級数の切り捨てによる近似誤差とGP推定による推定誤差のバランスを取ることでリスクバウンダリーを導出し、切り捨てレベル $ M \asymp n^\zeta $ を最適化する。

実験結果

リサーチクエスチョン

• RQ1 入力が高次元テンソルである場合、非パラメトリックテンソル回帰は標準的な非パラメトリック手法よりも高速な収束速度を達成できるか？
• RQ2 入力テンソルと関数空間の両方を同時に分解することで、推定効率が向上し、関数クラスの表現力が保たれるか？
• RQ3 二重に分解された非パラメトリックテンソルモデルにおいて、近似誤差と推定誤差の最適なトレードオフは何か？
• RQ4 二重分解を施したベイジアンGP推定器は、標準的な非パラメトリックGP推定器よりも高速な事後分布収縮率を達成できるか？
• RQ5 提案されたAMNRフレームワークにおいて、問題の有効次元は、全テンソル次元 $ \prod_k I_k $ に対してどのようにスケーリングされるか？

主な発見

• 提案されたAMNRモデルは、収束速度 $ O(n^{-\beta/(2\beta + \max_k I_k)}) $ を達成し、標準的な非パラメトリック速度 $ O(n^{-\beta/(2\beta + \prod_k I_k)}) $ よりも $ \prod_{k \neq k'} I_k $ 倍速い。ここで $ k' = \arg\max_k I_k $ である。
• 滑らかさの条件下で、一般非パラメトリック回帰と同一の関数クラスを維持し、真の関数クラスと一貫性を保つ。
• GP推定器の事後分布収縮が $ \epsilon_n^{(k)} $ の速度で確立され、被覆数バウンダリーにより、二重分解によって有効な複雑度が低減されていることが示された。
• リスクバウンダリーは、切り捨てレベル $ M \asymp n^{\zeta} $ で最小化され、ここで $ \zeta = \frac{\beta}{2\beta + \max_k I_k} \cdot \frac{1}{1 + \gamma} $ である。このとき、近似誤差と推定誤差のバランスが取れる。
• シミュレーション結果は理論的収束速度を確認しており、複雑なネットワーク要約統計量における実世界の実験では高い予測性能が示された。
• 有効入力次元を全テンソル次元 $ \prod_k I_k $ ではなく $ \max_k I_k $ にまで低減することで、次元の呪いを効果的に緩和した。