[논문 리뷰] Subspace Embedding and Linear Regression with Orlicz Norm

Alexandr Andoni, Chengyu Lin외 3명|arXiv (Cornell University)|2018. 06. 17.

Sparse and Compressive Sensing Techniques인용 수 12

한 줄 요약

이 논문은 $\beta$-노름과 M-추정량을 일반화하는 Orlicz 노름을 위한 새로운 오블리비uous 서브스페이스 임베딩을 제안하며, 선형 회귀와 저질서 행렬 근사에 대한 효율적인 근사 알고리즘을 가능하게 한다. 이 방법은 Orlicz-노름 회귀 문제에 대해 $O(d\log^2 n)$-근사 요인을 달성하고, $1 \leq p < 2$ 인 $\ell_p$ 저질서 행렬 근사 문제에 대해 기존의 한계를 향상시키며, 낮은 왜곡으로 노름 구조를 유지하는 새로운 임베딩을 사용한다.

ABSTRACT

We consider a generalization of the classic linear regression problem to the case when the loss is an Orlicz norm. An Orlicz norm is parameterized by a non-negative convex function $G:\mathbb{R}_+ ightarrow\mathbb{R}_+$ with $G(0)=0$: the Orlicz norm of a vector $x\in\mathbb{R}^n$ is defined as $ \|x\|_G=\inf\left\{α&gt;0\large\mid\sum_{i=1}^n G(|x_i|/α)\leq 1 ight\}. $ We consider the cases where the function $G(\cdot)$ grows subquadratically. Our main result is based on a new oblivious embedding which embeds the column space of a given matrix $A\in\mathbb{R}^{n imes d}$ with Orlicz norm into a lower dimensional space with $\ell_2$ norm. Specifically, we show how to efficiently find an embedding matrix $S\in\mathbb{R}^{m imes n},m

연구 동기 및 목표

• Orlicz 노름으로 정의된 손실 함수를 갖는 선형 회귀 문제를 해결하기 위한 일반적인 알고리즘 프레임워크를 개발하는 것.
• 스케일에 의존하는 손실 함수의 한계를 보완하기 위해 스케일 불변 Orlicz 노름 공식을 도입하는 것.
• 행렬 $A$의 열공간을 더 낮은 차원의 공간으로 매핑하면서 Orlicz 노름의 구조를 유한한 왜곡으로 유지하는 새로운 오블리비uous 서브스페이스 임베딩을 설계하는 것.
• 이러한 임베딩 기법을 활용하여 $1 \leq p < 2$ 인 $\ell_p$ 저질서 행렬 근사 문제에 대한 근사 알고리즘의 성능을 향상시키는 것. 이 문제는 강건한 데이터 분석 분야에서 점점 더 중요성이 부각되고 있다.
• 합성 및 실제 데이터 세트를 대상으로 실험적으로 방법의 성능를 검증하여, 표준 $\ell_1$, $\ell_2$, 기준 $\ell_p$ 방법들보다 뛰어난 성능을 보여주는 것.

제안 방법

• $Ax$에 대해 $\|Ax\|_G$가 $\ell_2$ 노름에서 $O(d^2 \log n)$ 이내의 왜곡으로 유지되도록 하는 새로운 오블리비uous 서브스페이스 임베딩 행렬 $S \in \mathbb{R}^{m \times n}$을 제안한다.
• 정의된 Orlicz 노름 $\|x\|_G = \inf\{\alpha > 0 \mid \sum_{i=1}^n G(|x_i|/\alpha) \leq 1\}$은 $G:\mathbb{R}_+ \to \mathbb{R}_+$ 이며, $G(0) = 0$ 인 볼록이고 하중이 제곱보다 작은 함수 $G$를 사용하여 $\ell_p$ 및 M-추정량 손실을 일반화한다.
• 행렬 $A$의 행들을 $\|A_i\|_G^2 / \|A\|_G^2$ 비례 확률로 샘플링하는 랜덤 스케칭 접근법을 사용하여 임베딩을 구성함으로써, Orlicz 노름에서 측도 집중이 보장된다.
• 임베딩을 회귀 문제 $\min_x \|Ax - b\|_G$ 에 적용하여, $SAx \approx Sb$ 에 대한 더 작은 $\ell_2$ 회귀 문제로 문제를 축소시키며, 증명 가능한 근사 보장을 확보한다.
• 이 임베딩을 활용하여 $1 \leq p < 2$ 인 $\ell_p$ 저질서 행렬 근사 문제에 대해 기존의 최고 성능를 향상시키며, 근사 요인과 실행 시간을 감소시킨다.
• 이중 단계 알고리즘을 활용: 첫 번째 단계에서는 Orlicz 임베딩을 사용해 데이터를 스케칭하고, 두 번째 단계에서는 표준 $\ell_2$ 해법기를 사용해 축소된 문제를 해결하며, 측도 집중 부등식을 통해 이론적 오차 한계를 유도한다.

실험 결과

연구 질문

• RQ1 $\ell_2$ 및 $\ell_p$ 임베딩을 일반화하면서 강건한 M-추정량 손실의 구조를 유지하는 Orlicz 노름을 위한 서브스페이스 임베딩을 구성할 수 있는가?
• RQ2 Orlicz 노름 서브스페이스 임베딩에서 달성 가능한 최적의 왜곡 요인은 무엇이며, 이는 $d$와 $\log n$ 에 대해 다항식으로 유 bounds 할 수 있는가?
• RQ3 제안된 임베딩 기법을 사용하여 증명 가능한 근사 요인을 갖는 Orlicz-노름 회귀 문제에 대한 효율적인 근사 알고리즘을 설계할 수 있는가?
• RQ4 기존 작업과 비교해 볼 때, 제안된 임베딩 기법은 $1 \leq p < 2$ 인 $\ell_p$ 저질서 행렬 근사 문제의 근사 비율과 실행 시간을 향상시키는가?
• RQ5 다양한 노이즈 및 이방성 조건 하에서 Orlicz-노름 회귀의 성능은 $\ell_1$, $\ell_2$, $\ell_{1.5}$ 회귀와 비교해 어떻게 되는가?

주요 결과

• 제안된 서브스페이스 임베딩은 Orlicz 노름에서 $O(d^2 \log n)$ 의 왜곡 요인을 달성하며, 하한이 $\Omega(1/(d \log n))$ 이므로 $d$ 및 $n$ 에 대한 의존성에서 거의 최적임을 보여준다.
• 알고리즘은 일반적인 하중이 제곱보다 작은 Orlicz 노름에 대해 $O(d \log^2 n)$-근사 요인을 달성하며, 이는 일반적인 하중이 제곱보다 작은 Orlicz 노름에 대해 처음으로 성립하는 결과이다.
• 실험 결과, Huber 유사 함수 $G_{\ell_{1.5}}$ 를 사용한 Orlicz-노름 회귀는 평균 $\ell_2$ 오차가 14.7을 기록하여, $\ell_1$(17.0), $\ell_2$(909.8), 기타 $G$-노름 변형들보다 뛰어난 성능를 보였다.
• $\ell_1$ 저질서 행렬 근사 문제에서, 제안된 방법은 합성 데이터에서 상대적 $\ell_1$ 오차 $1.04 \times 10^4$ 를 달성하였으며, Song 등 (2017)의 기준값인 $1.36 \times 10^4$ 와 표준 PCA보다 뛰어난 성능를 보였다.
• 당뇨병 및 유리 데이터 세트에서 각각 3.18초와 3.74초의 실행 시간을 기록하며, Song 등 (2017)의 5.69초와 11.97초보다 빠르며 더 나은 오차 감소를 보였다.
• 이 방법은 탄력적이고 일반적이다: $G$ 및 $G^{-1}$ 가 계산 가능한 한도에서 다양한 $G$ 함수를 쉽게 실험할 수 있어, 맞춤형 강건한 손실 설계를 가능하게 한다.