[論文レビュー] Convex Regularization for High-Dimensional Tensor Regression

Garvesh Raskutti, Ming Yuan|arXiv (Cornell University)|Dec 3, 2015

Sparse and Compressive Sensing Techniques被引用数 17

ひとこと要約

本稿では、誘導変数間に一般な依存構造が存在する状況下で、低ランクテンソル構造を推定するための弱分解可能正則化子を用いた高次元テンソル回帰の凸最適化フレームワークを提案する。ガウス幅と内在次元に基づく一般リスクバウンドを確立し、多応答回帰、ベクトル自己回帰、低ランクテンソル回帰などのモデルで最小最大最適性を示す。

ABSTRACT

In this paper we present a general convex optimization approach for solving high-dimensional tensor regression problems under low-dimensional structural assumptions. We consider using convex and \emph{weakly decomposable} regularizers assuming that the underlying tensor lies in an unknown low-dimensional subspace. Within our framework, we derive general risk bounds of the resulting estimate under fairly general dependence structure among covariates. Our framework leads to upper bounds in terms of two very simple quantities, the Gaussian width of a convex set in tensor space and the intrinsic dimension of the low-dimensional tensor subspace. These general bounds provide useful upper bounds on rates of convergence for a number of fundamental statistical models of interest including multi-response regression, vector auto-regressive models, low-rank tensor models and pairwise interaction models. Moreover, in many of these settings we prove that the resulting estimates are minimax optimal.

研究の動機と目的

• 低次元的構造仮定の下で、高次元テンソル回帰に一般な凸最適化アプローチを開発すること。
• 誘導変数間に一般な依存構造が存在する場合の推定誤差を分析すること。
• テンソル空間の幾何的性質（ガウス幅や内在次元など）に依存するリスクバウンドを導出すること。
• 多応答回帰や低ランクテンソルモデルを含む基本的モデルにおける最小最大最適性を確立すること。

提案手法

• 推定テンソルにおける低次元的構造を促進するために、凸的かつ弱分解可能な正則化子を用いる。
• テンソル空間内の凸集合のガウス幅に基づいて一般リスクバウンドを導出する。
• 推定誤差の収束速度を、低次元的テンソル部分空間の内在次元の観点から表現する。
• 多応答回帰、ベクトル自己回帰モデル、ペアワイズ相互作用モデルなど、さまざまなモデルにフレームワークを適用する。
• 高次元統計からの幾何的ツールを用いて、一般な誘導変数の依存構造下での推定誤差を分析する。
• 正則化、幾何学、統計的リスクを統合する統一フレームワークを通じて理論的保証を確立する。

実験結果

リサーチクエスチョン

• RQ1 一般な依存構造下でも、統一的な凸最適化フレームワークが高次元テンソル回帰で最小最大最適レートを達成できるか？
• RQ2 ガウス幅や内在次元といった幾何的性質が、テンソル回帰における推定誤差にどのように影響するか？
• RQ3 弱分解可能な正則化子が、低次元的テンソル構造の最適回復を可能にする役割は何か？
• RQ4 導出されたリスクバウンドは、多応答回帰や低ランクテンソルモデルといった多様なモデルにどの程度適用可能か？
• RQ5 フレームワークは、複雑な誘導変数の依存構造を扱いながらも、理論的最適性を維持できるか？

主な発見

• 提案されたフレームワークは、多応答回帰、ベクトル自己回帰モデル、低ランクテンソルモデル、ペアワイズ相互作用モデルにおいて、最小最大最適推定レートを達成する。
• リスクバウンドは、テンソル部分空間の2つの基本的幾何的量、すなわちガウス幅と内在次元に基づいて表現される。
• フレームワークは、独立性やサブガウス性の仮定を必要とせず、誘導変数間に一般な依存構造が存在する場合にも適用可能である。
• 弱分解可能な正則化子の使用により、テンソル空間における構造的スパarsityを介して推定誤差をきめ細かく制御できる。
• 統一的なアプローチにより理論的保証が得られ、同じフレームワークが複数の基本的モデルで最適レートを達成することが示された。
• 結果は、凸正則化が高次元的かつ複雑なテンソル回帰設定でも最適収束レートを達成できることを示している。