[論文レビュー] Sketching for Kronecker Product Regression and P-splines

Huaian Diao, Zhao Song+2 more|arXiv (Cornell University)|Dec 27, 2017

Sparse and Compressive Sensing Techniques参考文献 26被引用数 3

ひとこと要約

本稿では、TensorSketchを用いたスケッチベースのアルゴリズムを導入し、Kronecker積回帰およびPスプライン回帰を効率的に行う。これは、ℓ₁および一般の ℓₚ 範数において、明示的なKronecker積の計算時間に比べて部分線形時間で解を得ることを可能にする。(1+ε)-近似解を、Kronecker積の計算時間に対して部分線形時間で得ており、実験では5〜10倍の高速化と2%未満の相対誤差を達成している。

ABSTRACT

TensorSketch is an oblivious linear sketch introduced in Pagh'13 and later used in Pham, Pagh'13 in the context of SVMs for polynomial kernels. It was shown in Avron, Nguyen, Woodruff'14 that TensorSketch provides a subspace embedding, and therefore can be used for canonical correlation analysis, low rank approximation, and principal component regression for the polynomial kernel. We take TensorSketch outside of the context of polynomials kernels, and show its utility in applications in which the underlying design matrix is a Kronecker product of smaller matrices. This allows us to solve Kronecker product regression and non-negative Kronecker product regression, as well as regularized spline regression. Our main technical result is then in extending TensorSketch to other norms. That is, TensorSketch only provides input sparsity time for Kronecker product regression with respect to the $2$-norm. We show how to solve Kronecker product regression with respect to the $1$-norm in time sublinear in the time required for computing the Kronecker product, as well as for more general $p$-norms.

研究の動機と目的

• 大規模な回帰問題におけるKronecker積行列を明示的に構築する際の計算非効率性を解消すること。
• Kronecker積行列のサイズに対して部分線形時間でKronecker積回帰を解く手法を開発すること。
• Kronecker構造を持つ設計行列におけるℓ₂範数から、ロバストなℓ₁範数および一般のℓₚ範数回帰へとスケッチ技術を拡張すること。
• スケッチを用いてPスプライン回帰における効率的な正則化を実現し、Pスプラインに特化した新しい統計次元の測度を導入すること。
• 構造的回帰問題における部分線形時間近似アルゴリズムの理論的および実験的妥当性を提供すること。

提案手法

• Kronecker積行列 $A \otimes B$ を明示的に構築せずに、部分空間埋め込みとしてのTensorSketchを適用して圧縮する。
• スケッチを用いて設計行列および応答ベクトルの次元を低減し、回帰目的関数を $ (1+\epsilon) $-近似で保持する。
• Kronecker積のサイズに相対して部分線形時間で動作する、線形計画法と確率的スケッチフレームワークを組み合わせたℓ₁回帰のスケッチベースのアルゴリズムを設計する。
• Pスプライン回帰に特化した新しい統計次元測度を導入し、従来のリッジ回帰からの定義をスプラインへと拡張する。
• ℓₚ-構造の埋め込みを保持できるようにTensorSketchフレームワークを変更し、一般のℓₚ範数をサポートするスケッチ方式を構築する。
• ℓ₁回帰にはGurobi、Pスプライン回帰にはRegularization Toolsを用いてアルゴリズムを実装・評価し、ブルートフォースな正確なソルバーと比較する。

実験結果

リサーチクエスチョン

• RQ1 Kronecker積回帰に効果的にTensorSketchを適用し、$A \otimes B$ を明示的に構築せずに部分線形時間での計算を達成できるか？
• RQ2 Kronecker構造を持つ回帰の文脈において、スケッチ技術をℓ₂からℓ₁および一般のℓₚ範数へと拡張できるか？
• RQ3 Pスプライン回帰に適した統計次元測度は何か？ そして、最適な近似を得るためにどのようにスケッチを誘導できるか？
• RQ4 提案されたスケッチアルゴリズムは、実際の実行時間と解の精度の面で正確なソルバーと比べてどのように差がつくか？
• RQ5 本フレームワークは、2つの行列を超える複数のKronecker要因に対しても一般化可能か？

主な発見

• 提案されたアルゴリズムは、$ \operatorname{nnz}(A) + \operatorname{nnz}(B) + \operatorname{poly}(d/\epsilon) $ 時間でKronecker積回帰の (1+ε)-近似解を達成しており、$A \otimes B$ を計算する時間に対して部分線形時間である。
• ℓ₁回帰において、Kronecker積のサイズに相対して部分線形時間で実行され、ブルートフォースなGurobiベースのソルバーと比べて約10倍の高速化を達成しながら、相対誤差は約1%を維持している。
• Pスプライン回帰において、行を20%（10,000中2,000）のみサンプリングすることで、相対誤差0.044%を達成し、正確な計算と比べて実行時間は52%短縮された。
• すべてのテスト設定において、相対残差誤差が2%未満を維持しており、スケッチサイズが大きくなるほど誤差は減少する。
• 実験結果では、ℓ₂回帰においてサンプル行数を8,000から16,000に増加させると、相対誤差は1.79%から1.01%に低下し、実行時間比は0.11から0.25に上昇した。
• 正則化パrameter $\lambda$ の異なる値に対してもスケーリングが良く、例えば $\lambda=0.01$ の場合、わずかなスケッチサイズでも誤差が0.0297%に抑えられる。