[논문 리뷰] Optimal Sketching for Kronecker Product Regression and Low Rank Approximation

Huaian Diao, Rajesh Jayaram외 3명|arXiv (Cornell University)|2019. 09. 29.

Face and Expression Recognition인용 수 17

한 줄 요약

이 논문은 크로네커 곱 회귀와 저질서 근사에 대해 최적의 스케칭 알고리즘을 제시하며, ℓ₂ 회귀의 경우 실행 시간이 O(∑ᵢ nnz(Aᵢ))이고, ℓₚ 회귀(p ≤ 2)의 경우 O(∑ᵢ nnz(Aᵢ) + nnz(b))로, 이는 b의 nnz에 대한 의존성을 제거함으로써 이전 작업에 비해 크게 향상된 결과이다. 이 방법은 전체 곱을 명시적으로 구성하지 않고도 효율적인 전쌍 회귀와 크로네커 행렬의 저t-질서 근사를 가능하게 한다.

ABSTRACT

We study the Kronecker product regression problem, in which the design matrix is a Kronecker product of two or more matrices. Given $A_i \in \mathbb{R}^{n_i imes d_i}$ for $i=1,2,\dots,q$ where $n_i \gg d_i$ for each $i$, and $b \in \mathbb{R}^{n_1 n_2 \cdots n_q}$, let $\mathcal{A} = A_1 \otimes A_2 \otimes \cdots \otimes A_q$. Then for $p \in [1,2]$, the goal is to find $x \in \mathbb{R}^{d_1 \cdots d_q}$ that approximately minimizes $\|\mathcal{A}x - b\|_p$. Recently, Diao, Song, Sun, and Woodruff (AISTATS, 2018) gave an algorithm which is faster than forming the Kronecker product $\mathcal{A}$ Specifically, for $p=2$ their running time is $O(\sum_{i=1}^q ext{nnz}(A_i) + ext{nnz}(b))$, where nnz$(A_i)$ is the number of non-zero entries in $A_i$. Note that nnz$(b)$ can be as large as $n_1 \cdots n_q$. For $p=1,$ $q=2$ and $n_1 = n_2$, they achieve a worse bound of $O(n_1^{3/2} ext{poly}(d_1d_2) + ext{nnz}(b))$. In this work, we provide significantly faster algorithms. For $p=2$, our running time is $O(\sum_{i=1}^q ext{nnz}(A_i) )$, which has no dependence on nnz$(b)$. For $p<2$, our running time is $O(\sum_{i=1}^q ext{nnz}(A_i) + ext{nnz}(b))$, which matches the prior best running time for $p=2$. We also consider the related all-pairs regression problem, where given $A \in \mathbb{R}^{n imes d}, b \in \mathbb{R}^n$, we want to solve $\min_{x} \|\bar{A}x - \bar{b}\|_p$, where $\bar{A} \in \mathbb{R}^{n^2 imes d}, \bar{b} \in \mathbb{R}^{n^2}$ consist of all pairwise differences of the rows of $A,b$. We give an $O( ext{nnz}(A))$ time algorithm for $p \in[1,2]$, improving the $Ω(n^2)$ time needed to form $\bar{A}$. Finally, we initiate the study of Kronecker product low rank and low $t$-rank approximation. For input $\mathcal{A}$ as above, we give $O(\sum_{i=1}^q ext{nnz}(A_i))$ time algorithms, which is much faster than computing $\mathcal{A}$.

연구 동기 및 목표

• 전체 크로네커 곱 행렬을 명시적으로 계산하지 않고도 ℓₚ 손실(p ∈ [1,2])을 갖는 크로네커 곱 회귀를 위한 더 빠른 알고리즘을 설계하기 위해.
• 모든 쌍 회귀의 계산적 병목 현상을 해결하기 위해 O(nnz(A)) 시간 복잡도를 달성하여 쌍별 차이 행렬을 명시적으로 구성하는 데 필요한 Ω(n²) 비용을 피하기 위해.
• 전체 크로네커 곱 행렬 A₁ ⊗ ⋯ ⊗ A_q의 저질서 및 저t-질서 근사를 O(∑ᵢ nnz(Aᵢ)) 시간 내에 수행할 수 있도록 하기 위해.
• 이전의 실행 시간에 비해 최적 또는 그 이상의 성능를 보장하면서도 (1+ε)-근사 보장을 유지하는 스케칭 기반 알고리즘을 확립하기 위해.

제안 방법

• 크로네커 곱 행렬을 암묵적으로 압축하기 위해 스케칭 기법을 활용하여 전체 행렬 A₁ ⊗ ⋯ ⊗ A_q의 명시적 구성을 피한다.
• ℓₚ-잘 조절된 기저와 잔차 샘플링을 활용하여 근사 품질을 유지하면서도 회귀 문제에서 행을 효율적으로 샘플링한다.
• 빠른 샘플링 레마를 적용하여 회귀 문제의 크기를 줄이면서도 ℓₚ 회귀의 (1+ε)-근사 보장을 유지한다.
• 전체 쌍 행렬 A̅ = A ⊗ A의 저질서 근사를 명시적으로 A̅를 구성하지 않고도 계산하기 위해 이중 기준 저질서 근사 프레임워크를 사용한다.
• 결과로 도출된 저질서 요소를 다시 크로네커 구조로 재형성하여 저t-질서 구조를 유지한다.
• 일반적인 손실 함수의 성질(근사 삼각 부등식, 단조성, 회귀 성질)을 활용하여 결과를 일반 ℓ_p 및 일반 손실 함수로 확장한다.

실험 결과

연구 질문

• RQ1 전체 크로네커 곱 행렬을 구성하지 않고도 ℓ₂ 및 ℓ₁ 손실을 갖는 크로네커 곱 회귀에 대해 최적의 실행 시간을 달성할 수 있는가?
• RQ2 쌍별 차이 행렬을 명시적으로 구성하는 데 필요한 Ω(n²) 비용을 피하면서도 O(nnz(A)) 시간 내에 모든 쌍 회귀를 수행할 수 있는가?
• RQ3 입력 흐문성에 선형적인 시간 내에 크로네커 곱 행렬의 저질서 및 저t-질서 근사를 수행할 수 있는가?
• RQ4 크로네커 구조를 갖는 행렬의 맥락에서 일반 ℓ_p 및 제곱형이 아닌 손실 함수에 대해 최적의 스케칭 기반 알고리즘은 무엇인가?
• RQ5 고차원 구조화된 회귀 문제에서 시간 복잡도를 크게 줄이면서도 근사 보장을 유지할 수 있는 방법은 무엇인가?

주요 결과

• ℓ₂ 회귀의 경우 알고리즘이 O(∑ᵢ nnz(Aᵢ)) 시간 내에 실행되며, nnz(b)에 대한 의존성을 완전히 제거하여 이전 작업에서 요구하던 O(nnz(b)) 시간에 비해 크게 향상되었다.
• p < 2인 ℓₚ 회귀의 경우 O(∑ᵢ nnz(Aᵢ) + nnz(b)) 시간 내에 성능을 달성하여, ℓ₂ 회귀의 최고 성능 수준을 충족한다.
• 모든 쌍 회귀에 대해 O(nnz(A)) 시간 알고리즘을 개발하여, 전형적으로 Ω(n²) 시간이 소요되는 전체 쌍 행렬을 명시적으로 구성하는 데서 벗어났다.
• 논문은 크로네커 곱 행렬 A₁ ⊗ ⋯ ⊗ A_q의 저질서 및 저t-질서 근사를 위한 최초의 O(∑ᵢ nnz(Aᵢ)) 시간 알고리즘을 제공하며, A₁ ⊗ ⋯ ⊗ A_q의 고비용 계산을 피한다.
• 근사 삼각 부등식 및 회귀 성질과 같은 구조적 성질을 활용하여 일반적인 손실 함수에 대해 이론적 보장을 확립하여 광범위한 적용 가능성을 확보한다.
• 프레임워크는 ℓ₂ 및 ℓₚ 회귀에 대해 (1+ε)-근사 보장을 지원하며, 일반 ℓ_p 및 일반 손실 함수에 대해서는 고확률로 poly(k log n)-근사 보장을 제공한다.