[論文レビュー] Sparse Low-rank Tensor Response Regression

Will Wei Sun, Lexin Li|arXiv (Cornell University)|Sep 15, 2016

Tensor decomposition and applications被引用数 2

ひとこと要約

この論文は、要素ごとのスパarsityと低ランク構造を統合することで、対称および非対称のテンソル応答を処理できる、新しいテンソル回帰モデルであるSparse TensOr REsponse (STORE)回帰を提案する。この手法はパrameter推定に交互最適化アルゴリズムを用い、計算効率と統計的収束速度の間の有利なトレードオフを示す非漸近的誤差バウンドを達成する。ガウスノイズ下でも、サンプルサイズに伴いテンソル次元が指数関数的に増大する状況においても、高速な誤差率を達成する。

ABSTRACT

Motivated by applications in neuroimaging analysis, we propose a new regression model, Sparse TensOr REsponse regression (STORE), with a tensor response and a vector predictor. STORE embeds two key sparse structures: element-wise sparsity and low-rankness. It can handle both a non-symmetric and a symmetric tensor response, and thus is applicable to both structural and functional neuroimaging data. We formulate the parameter estimation as a non-convex optimization problem, and develop an efficient alternating updating algorithm. We establish a non-asymptotic estimation error bound for the actual estimator obtained from the proposed algorithm. This error bound reveals an interesting interaction between the computational efficiency and the statistical rate of convergence. When the distribution of the error tensor is Gaussian, we further obtain a fast estimation error rate which allows the tensor dimension to grow exponentially with the sample size. We illustrate the efficacy of our model through intensive simulations and an analysis of the Autism spectrum disorder neuroimaging data.

研究の動機と目的

• 神経画像解析における構造的および機能的データを含む、高次元テンソル応答のモデリングの課題に対処する。
• 回帰係数テンソルに要素ごとのスパarsityと低ランク構造を同時に強制することで、解釈可能性と推定精度を向上させる。
• 非凸最適化フレームワークにおけるパrameter推定の計算効率の高いアルゴリズムを開発する。
• 計算効率と統計的収束速度のトレードオフを定量化する非漸近的誤差バウンドを確立する。
• 特に自閉症スペクトラム障害研究において、実神経画像データ上で本手法の有効性を示す。

提案手法

• 回帰係数テンソルに要素ごとのスパarsityと低ランク構造を同時に強制する非凸最適化問題としてパrameter推定を定式化する。
• 低ランク因子行列とスパース成分を反復的に更新する、ADMM（交替方向乗数法）を模倣したアルゴリズムを提案する。
• 最適化中の計算効率を向上させるために、シュール補行列に基づく再定式化を導入する。
• テンソル次元、サンプルサイズ、ノイズ分布に依存する非漸近的推定誤差バウンドを導出する。
• ガウスノイズ仮定下では、サンプルサイズに比してテンソル次元が指数関数的に増大する場合でも、高速な推定誤差率を達成する。
• テンソル分解技術（例：Tucker分解やCP分解）を用いて、回帰係数テンソルの低ランク構造を表現する。

実験結果

リサーチクエスチョン

• RQ1 どのようにして、スパarsityによる解釈可能性と低ランク構造による次元削減を併せ持つことで、神経画像解析におけるテンソル応答を効果的にモデリングできるか？
• RQ2 非凸テンソル回帰において、計算効率と統計的推定精度の理論的関係は何か？
• RQ3 ガウスノイズ下で、サンプルサイズに伴いテンソル次元が指数関数的に増大する場合、提案手法は高速な収束速度を達成できるか？
• RQ4 要素ごとのスパarsityと低ランク構造の統合は、標準的なテンソル回帰モデルと比較して、推定性能をどのように向上させるか？
• RQ5 特に自閉症スペクトラム障害において、STOREモデルは既存手法をどれほど上回るか？特に、微細な脳活動および構造的パターンの同定において。

主な発見

• 提案されたSTOREモデルは、対称および非対称のテンソル応答を効果的に処理でき、多様な神経画像データタイプに適用可能である。
• 交互更新アルゴリズムは、計算効率と統計的収束速度のトレードオフを示す非漸近的推定誤差バウンドを達成する。
• ガウスノイズ仮定下では、推定誤差率が著しく改善され、テンソル次元がサンプルサイズに比して指数関数的に増大する場合でも対応可能である。
• 広範なシミュレーションにより、STOREは推定精度およびスパース回復の観点でベースライン手法を上回ることが示された。
• 自閉症スペクトラム障害の神経画像データ解析において、STOREは既知の神経解剖学的所見と整合する生物学的に妥当な脳活動および構造的パターンを同定した。
• 従来のテンソル回帰手法が過学習や計算的に扱いにくくなる高次元設定でも、本手法は強固な性能を維持した。