[論文レビュー] Optimal Sketching for Kronecker Product Regression and Low Rank Approximation

Huaian Diao, Rajesh Jayaram+3 more|arXiv (Cornell University)|Sep 29, 2019

Face and Expression Recognition被引用数 17

ひとこと要約

本稿では、Kronecker積回帰および低ランク近似の最適なスケッチアルゴリズムを提示し、ℓ₂回帰ではO(∑ᵢ nnz(Aᵢ))、ℓₚ回帰（p ≤ 2）ではO(∑ᵢ nnz(Aᵢ) + nnz(b))の実行時間で実現しており、nnz(b)に依存しない点で先行研究を著しく改善している。このアプローチにより、全ペア回帰およびKronecker行列の低tランク近似を、全積行列を明示的に構築せずに効率的に実行可能である。

ABSTRACT

We study the Kronecker product regression problem, in which the design matrix is a Kronecker product of two or more matrices. Given $A_i \in \mathbb{R}^{n_i imes d_i}$ for $i=1,2,\dots,q$ where $n_i \gg d_i$ for each $i$, and $b \in \mathbb{R}^{n_1 n_2 \cdots n_q}$, let $\mathcal{A} = A_1 \otimes A_2 \otimes \cdots \otimes A_q$. Then for $p \in [1,2]$, the goal is to find $x \in \mathbb{R}^{d_1 \cdots d_q}$ that approximately minimizes $\|\mathcal{A}x - b\|_p$. Recently, Diao, Song, Sun, and Woodruff (AISTATS, 2018) gave an algorithm which is faster than forming the Kronecker product $\mathcal{A}$ Specifically, for $p=2$ their running time is $O(\sum_{i=1}^q ext{nnz}(A_i) + ext{nnz}(b))$, where nnz$(A_i)$ is the number of non-zero entries in $A_i$. Note that nnz$(b)$ can be as large as $n_1 \cdots n_q$. For $p=1,$ $q=2$ and $n_1 = n_2$, they achieve a worse bound of $O(n_1^{3/2} ext{poly}(d_1d_2) + ext{nnz}(b))$. In this work, we provide significantly faster algorithms. For $p=2$, our running time is $O(\sum_{i=1}^q ext{nnz}(A_i) )$, which has no dependence on nnz$(b)$. For $p<2$, our running time is $O(\sum_{i=1}^q ext{nnz}(A_i) + ext{nnz}(b))$, which matches the prior best running time for $p=2$. We also consider the related all-pairs regression problem, where given $A \in \mathbb{R}^{n imes d}, b \in \mathbb{R}^n$, we want to solve $\min_{x} \|\bar{A}x - \bar{b}\|_p$, where $\bar{A} \in \mathbb{R}^{n^2 imes d}, \bar{b} \in \mathbb{R}^{n^2}$ consist of all pairwise differences of the rows of $A,b$. We give an $O( ext{nnz}(A))$ time algorithm for $p \in[1,2]$, improving the $Ω(n^2)$ time needed to form $\bar{A}$. Finally, we initiate the study of Kronecker product low rank and low $t$-rank approximation. For input $\mathcal{A}$ as above, we give $O(\sum_{i=1}^q ext{nnz}(A_i))$ time algorithms, which is much faster than computing $\mathcal{A}$.

研究の動機と目的

• Kronecker積行列を明示的に計算せずに、ℓₚ損失（p ∈ [1,2]）を用いたKronecker積回帰の高速化アルゴリズムの設計。
• 全ペア回帰における計算ボトル neck を解消し、O(nnz(A))時間で実行可能とすることで、ペアワイズ差行列を明示的に構築するΩ(n²)のコストを回避。
• Kronecker積行列A₁ ⊗ ⋯ ⊗ A_qの低ランクおよび低tランク近似を、O(∑ᵢ nnz(Aᵢ))時間で効率的に実行可能に。
• 先行研究の実行時間と同等またはそれを上回る性能を達成する最適なスケッチベースのアルゴリズムを確立し、(1+ε)-近似保証を維持。

提案手法

• Kronecker積行列を暗黙的に圧縮するスケッチ技術を活用し、全行列A₁ ⊗ ⋯ ⊗ A_qの明示的構築を回避。
• ℓₚ-良好条件ベースと残差サンプリングを用いて、近似品質を保持しつつ、回帰問題から行を効率的にサンプリング。
• 高速サンプリング補題を適用し、回帰問題のサイズを縮小しながら、ℓₚ回帰における(1+ε)-近似を維持。
• 二基準低ランク近似フレームワークを用いて、A̅ = A ⊗ Aの低ランク近似をA̅を明示的に構築せずに計算。
• 得られた低ランク要因を再形状し、Kronecker構造を保ったまま低tランク構造を維持。
• 一般損失関数の構造的性質（近似的三角不等式、単調性、回帰性）に依存し、ℓ_pおよび一般損失関数への結果の拡張を実現。

実験結果

リサーチクエスチョン

• RQ1 Kronecker積行列を明示的に計算せずに、ℓ₂およびℓ₁損失を用いたKronecker積回帰において、最適な実行時間を達成可能か？
• RQ2 ペアワイズ差行列を明示的に構築するΩ(n²)のコストを回避し、全ペア回帰をO(nnz(A))時間で実行可能か？
• RQ3 入力スパarsityに線形時間で、Kronecker積行列の低ランクおよび低tランク近似を計算可能か？
• RQ4 Kronecker構造を持つ行列の文脈において、一般ℓ_pおよび非二乗損失関数に対する最適なスケッチベースのアルゴリズムは何か？
• RQ5 高次元構造的回帰問題において、時間計算量を著しく削減しながらも、近似保証を維持する方法は何か？

主な発見

• ℓ₂回帰では、O(∑ᵢ nnz(Aᵢ))時間で実行され、nnz(b)に依存しない点で、先行研究がO(nnz(b))時間が必要としていた点を著しく改善。
• p < 2のℓₚ回帰では、O(∑ᵢ nnz(Aᵢ) + nnz(b))時間で実行され、ℓ₂回帰の最良既知の実行時間と一致。
• 全ペア回帰のためのO(nnz(A))時間アルゴリズムが開発され、全ペア行列を明示的に構築するためのΩ(n²)時間よりも優れている。
• Kronecker積行列の低ランクおよび低tランク近似に対して、O(∑ᵢ nnz(Aᵢ))時間で実行可能な最初のアルゴリズムが提供され、A₁ ⊗ ⋯ ⊗ A_qの高コストな計算を回避。
• 近似的三角不等式や回帰性といった構造的性質を用いて、一般損失関数に対しても理論的保証を確立し、広範な適用可能性を実現。
• ℓ₂およびℓₚ回帰では(1+ε)-近似を、一般ℓ_pおよび一般損失関数ではpoly(k log n)-近似を、高確率で達成可能に。