[논문 리뷰] Efficient Symmetric Norm Regression via Linear Sketching

Zhao Song, Ruosong Wang외 3명|arXiv (Cornell University)|2019. 10. 04.

Advanced Optimization Algorithms Research인용 수 8

한 줄 요약

이 논문은 대칭 노름 회귀 문제에 대해 입력 스파arsity 시간 알고리즘을 처음으로 제안하며, 이는 대칭 노름에 특화된 새로운 선형 스케치 프레임워크인 SymSketch를 사용한다. Orlicz 노름에 대해 $(1+\varepsilon)$-근사해를 달성하고, 일반적인 대칭 노름에 대해 $\sqrt{d} \cdot \mathrm{mmc}(\ell) \cdot \mathrm{polylog}\,n$-근사해를 제공하여 이전 작업의 $d \cdot \mathrm{polylog}\,n$ 근사비율에 비해 크게 향상시킨다.

ABSTRACT

We provide efficient algorithms for overconstrained linear regression problems with size $n imes d$ when the loss function is a symmetric norm (a norm invariant under sign-flips and coordinate-permutations). An important class of symmetric norms are Orlicz norms, where for a function $G$ and a vector $y \in \mathbb{R}^n$, the corresponding Orlicz norm $\|y\|_G$ is defined as the unique value $α$ such that $\sum_{i=1}^n G(|y_i|/α) = 1$. When the loss function is an Orlicz norm, our algorithm produces a $(1 + \varepsilon)$-approximate solution for an arbitrarily small constant $\varepsilon > 0$ in input-sparsity time, improving over the previously best-known algorithm which produces a $d \cdot \mathrm{polylog} n$-approximate solution. When the loss function is a general symmetric norm, our algorithm produces a $\sqrt{d} \cdot \mathrm{polylog} n \cdot \mathrm{mmc}(\ell)$-approximate solution in input-sparsity time, where $\mathrm{mmc}(\ell)$ is a quantity related to the symmetric norm under consideration. To the best of our knowledge, this is the first input-sparsity time algorithm with provable guarantees for the general class of symmetric norm regression problem. Our results shed light on resolving the universal sketching problem for linear regression, and the techniques might be of independent interest to numerical linear algebra problems more broadly.

연구 동기 및 목표

• Orlicz 노름과 기타 대칭 노름을 포함한 광범위한 손실 함수 클래스에 대해 작동하는 통합된 스케칭 기반 알고리즘을 개발한다.
• 이론적 스케칭 기법과 실용적 적용성 사이의 격차를 해소하기 위해, 입력 스파arsity 시간 내에서 Orlicz 노름에 대해 $(1+\varepsilon)$-근사해를 달성한다.
• $\ell_p$ 노름과 $M$-추정자 외에도 복잡한 대칭 노름, 예를 들어 상위-$k$, 합-혼합, $k$-지원 노름 등을 포함한 스케칭의 범위를 확장한다.
• 일반적인 대칭 노름에 대해 증명 가능한 근사 보장을 제공하며, 노름의 구조적 복잡성도 캡처하는 새로운 양 $\mathrm{mmc}(\ell)$ 를 도입한다.
• 선형 회귀 문제에 대한 통합된 스케칭 문제를 해결하기 위해, 다양한 대칭 노름 손실에 적용 가능한 단일 프레임워크를 설계한다.

제안 방법

• 대칭 노름에 특화된 구조적 선형 스케칭인 SymSketch 라고 불리는 새로운 스케칭 프레임워크를 도입한다.
• 두 단계 스케칭 과정을 활용: 첫째, 잔차 벡터를 대칭 노름의 구조를 유지하면서 낮은 차원 공간으로 매핑하는 랜덤 임베딩을 수행한다.
• 빠른 조지프-린든스트라우스 변환을 통한 부분공간 임베딩을 사용하여 변환된 잔차의 $\ell_2$-노름을 유지하며, 이는 노름 등가성 논증을 통해 원래의 대칭 노름으로 환원된다.
• 노름의 대칭성(부호 반전 및 순열에 대해 불변)을 활용하여, 스케칭이 데이터 행렬의 특이값과 구조에만 의존하도록 설계한다.
• 스케치 행렬의 $\ell_2$-임베딩 성질에 대한 새로운 분석을 적용하여, $\mathrm{mmc}(\ell)$라는 노름 특화 복잡도 측정값을 기반으로 근사 비율을 제한한다.
• 스케치된 문제에 표준 최소 제곱 회귀를 결합하여 $O(\mathrm{nnz}(A) + \mathrm{poly}(d))$ 시간 내에 근사해를 계산한다.

실험 결과

연구 질문

• RQ1 각 손실 함수마다 새로운 설계가 필요 없이, 입력 스파arsity 시간 내에서 대칭 노름 회귀 문제에 대해 $(1+\varepsilon)$-근사해를 달성하는 단일 스케칭 기반 알고리즘을 설계할 수 있는가?
• RQ2 선형 스케칭의 성공을 $\ell_p$ 노름과 $M$-추정자에서 Orlicz 노름으로 확장할 수 있으며, 최적의 근사 비율을 달성할 수 있는가?
• RQ3 Orlicz 노름이 아니지만 기계 학습에서 널리 사용되는 일반적인 대칭 노름—예를 들어 상위-$k$, 합-혼합, $k$-지원 노름—을 어떻게 다룰 수 있는가?
• RQ4 최소한의 스케칭 크기와 이러한 프레임워크에서 근사 품질을 결정짓는 노름의 구조적 특성은 무엇인가?
• RQ5 일반적인 대칭 노름에 대한 스케칭 분석을 통합하기 위해, 노름의 스케칭 행동을 캡처하는 단일 복잡도 매개변수 $\mathrm{mmc}(\ell)$ 를 도입할 수 있는가?

주요 결과

• 제안된 SymSketch 알고리즘은 $O(\mathrm{nnz}(A) + \mathrm{poly}(d/\varepsilon))$ 시간 내에서 Orlicz 노름 회귀 문제에 대해 $(1+\varepsilon)$-근사해를 달성하며, 이는 이전의 $d \cdot \mathrm{polylog}\,n$-근사해에 비해 향상된 결과이다.
• 일반적인 대칭 노름에 대해서는, 입력 스파arsity 시간 내에서 $\sqrt{d} \cdot \mathrm{mmc}(\ell) \cdot \mathrm{polylog}\,n$-근사해를 제공하며, $\mathrm{mmc}(\ell)$ 는 노름 특화 복잡도 측정값이다.
• 이 알고리즘은 일반적인 대칭 노름 회귀 문제에 대해 증명 가능한 입력 스파arsity 시간 보장을 달성하는 최초의 알고리즘으로, 통합 스케칭 분야의 핵심 열린 문제를 해결한다.
• 미국 인구 조사 및 YearPredictionMSD 데이터셋에 대한 실험 결과, SymSketch는 Orlicz 노름 및 대칭 노름 설정 모두에서 균일 샘플링과 이전 스케칭 방법보다 뛰어난 성능을 보였다.
• 임베딩 차원이 $5d$일 때, SymSketch는 합-혼합 $\ell_1 + \ell_2$ 노름에 대해 약 $1.25$의 근사 비율을 달성하여 뛰어난 실용적 성능을 입증하였다.
• 이론적 분석 결과, 스케치가 변환된 잔차의 $\ell_2$-노름을 $O(\sqrt{d} \log^3 n)$ 요소 이내로 유지함을 보였으며, 이는 대칭 노름 근사 비율을 제한하는 데 사용된다.