[논문 리뷰] Sketching for Kronecker Product Regression and P-splines

Huaian Diao, Zhao Song외 2명|arXiv (Cornell University)|2017. 12. 27.

Sparse and Compressive Sensing Techniques참고 문헌 26인용 수 3

한 줄 요약

이 논문은 텐서스케치를 활용한 스케치 기반 알고리즘을 제안하여, ℓ₁ 및 일반 ℓₚ 노름에 대해 효율적인 크로네커 곱 회귀와 P-spline 회귀를 수행한다. 이는 명시적인 크로네커 곱 행렬 계산에 비해 시간 복잡도가 하위선형인 해를 제공하며, (1+ε)-근사해를 얻는다. 실험적으로는 5–10배의 속도 향상과 2% 이내의 상대 오차를 달성하였다.

ABSTRACT

TensorSketch is an oblivious linear sketch introduced in Pagh'13 and later used in Pham, Pagh'13 in the context of SVMs for polynomial kernels. It was shown in Avron, Nguyen, Woodruff'14 that TensorSketch provides a subspace embedding, and therefore can be used for canonical correlation analysis, low rank approximation, and principal component regression for the polynomial kernel. We take TensorSketch outside of the context of polynomials kernels, and show its utility in applications in which the underlying design matrix is a Kronecker product of smaller matrices. This allows us to solve Kronecker product regression and non-negative Kronecker product regression, as well as regularized spline regression. Our main technical result is then in extending TensorSketch to other norms. That is, TensorSketch only provides input sparsity time for Kronecker product regression with respect to the $2$-norm. We show how to solve Kronecker product regression with respect to the $1$-norm in time sublinear in the time required for computing the Kronecker product, as well as for more general $p$-norms.

연구 동기 및 목표

• 대규모 회귀 문제에서 크로네커 곱 행렬을 명시적으로 구성할 경우 발생하는 계산 비효율성을 해결한다.
• 크로네커 곱 행렬의 크기와 비례하지 않는 시간 내에 크로네커 곱 회귀 문제를 해결할 수 있는 방법을 개발한다.
• 기존의 ℓ₂-노름에 국한된 스케칭 기법을, 크로네커-구조를 가진 설계 행렬에 대해 강력한 ℓ₁-노름 및 일반 ℓₚ-노름 회귀로 확장한다.
• 스케칭을 활용해 P-spline 회귀에서 효율적인 정규화를 실현하며, P-spline에 특화된 새로운 통계적 차원 측정 기준을 제안한다.
• 구조화된 회귀 문제에 대해 하위선형 시간 근사 알고리즘의 이론적 및 실증적 타당성을 제공한다.

제안 방법

• 명시적인 형식 없이 $A \otimes B$ 행렬을 압축하기 위해, 무작위 부분공간 임bedding으로서 텐서스케치를 적용한다.
• 스케칭을 통해 설계 행렬과 반응 벡터의 차원을 감소시키면서도, 회귀 목표 함수를 $ (1+\epsilon) $-근사 범위 내에서 유지한다.
• 크로네커 곱 크기 대비 하위선형 시간 내에서 작동하는 랜덤화된 스케칭 프레임워크와 선형계획법을 조합하여 ℓ₁ 회귀를 위한 스케칭 기반 알고리즘을 설계한다.
• 리지드 회귀에서의 기존 정의를 스플라인으로 확장하여, P-spline 회귀에 특화된 새로운 통계적 차원 측정 기준을 제안한다.
• 텐서스케치 프레임워크를 조정하여 ℓₚ-구조 임베딩을 유지함으로써, 일반 ℓₚ-노름을 지원하는 스케칭 체계를 구성한다.
• ℓ₁ 회귀의 경우 Gurobi, P-spline 회귀의 경우 Regularization Tools를 사용하여 알고리즘을 구현하고, 브루트포스 정확한 해법과 비교 평가한다.

실험 결과

연구 질문

• RQ1 텐서스케치는 $A \otimes B$를 명시적으로 구성하지 않고도 크로네커 곱 회귀에 효과적으로 적용되어 하위선형 시간 계산을 달성할 수 있는가?
• RQ2 크로네커-구조 회귀의 맥락에서 스케칭 기법을 ℓ₂에서 ℓ₁ 및 일반 ℓₚ 노름으로 확장할 수 있는가?
• RQ3 P-spline 회귀에 적합한 통계적 차원 측정 기준은 무엇이며, 이를 최적의 근사화를 위해 어떻게 활용할 수 있는가?
• RQ4 제안된 스케칭 알고리즘은 정확도와 런타임 측면에서 브루트포스 정확한 해법과 비교해 실제로 어떻게 성능을 발휘하는가?
• RQ5 이 프레임워크는 두 개 이상의 크로네커 요소를 다룰 수 있도록 일반화될 수 있는가?

주요 결과

• 제안된 알고리즘은 $ \operatorname{nnz}(A) + \operatorname{nnz}(B) + \operatorname{poly}(d/\epsilon) $ 시간 내에 크로네커 곱 회귀 문제에 대해 (1+ε)-근사해를 도출하며, 이는 $A \otimes B$를 계산하는 데 소요되는 시간보다 하위선형이다.
• ℓ₁ 회귀의 경우, 크로네커 곱 크기 대비 하위선형 시간 내에서 작동하며, 브루트포스 Gurobi 기반 해법 대비 약 10배의 속도 향상을 보이며 약 1%의 상대 오차를 유지한다.
• P-spline 회귀에서는 전체 행의 20%만(10,000 중 2,000)을 샘플링해도 상대 오차가 0.044%에 불과하고, 정확한 계산 대비 런타임이 52% 감소한다.
• 모든 테스트 설정에서 알고리즘이 2% 이내의 상대 잔차 오차를 유지하며, 스케칭 크기가 증가할수록 오차는 감소한다.
• 실험 결과, ℓ₂ 회귀에서 샘플 행 수를 8,000에서 16,000으로 늘일 경우 상대 오차는 1.79%에서 1.01%로 감소하고, 런타임 비율은 0.11에서 0.25로 증가한다.
• 다양한 정규화 파rameter $\lambda$에 대해 알고리즘이 잘 스케일링되며, 스케칭 크기를 줄여도 낮은 오차(예: $\lambda=0.01$일 때 0.0297%)를 유지한다.