[논문 리뷰] L1 Regression with Lewis Weights Subsampling

Aditya Parulekar, Advait Parulekar외 1명|arXiv (Cornell University)|2021. 01. 01.

Machine Learning and Algorithms참고 문헌 14인용 수 3

한 줄 요약

이 논문은 행 샘플링에 대해 Lewis 가중치를 사용하는 ℓ1 회귀를 위한 활성 학습 접근법을 제안한다. 보다 정확히는, 보다 높은 확률 1−δ로 (1+ε)-근사해를 얻기 위해 보정된 보상에 따라 m = O(1/ε² d log d/εδ)개의 행을 샘플링하는 것으로, 이는 근사해의 품질을 보장한다. 이 방법은 ℓ2 리거리지 스코어 방법보다 δ에 대해 지수적으로 더 우수한 의존성과 함께 거의 최적의 샘플 복잡도를 달성한다.

ABSTRACT

We consider the problem of finding an approximate solution to $\ell_1$ regression while only observing a small number of labels. Given an $n imes d$ unlabeled data matrix $X$, we must choose a small set of $m \ll n$ rows to observe the labels of, then output an estimate $\widehatβ$ whose error on the original problem is within a $1 + \varepsilon$ factor of optimal. We show that sampling from $X$ according to its Lewis weights and outputting the empirical minimizer succeeds with probability $1-δ$ for $m > O(\frac{1}{\varepsilon^2} d \log \frac{d}{\varepsilon δ})$. This is analogous to the performance of sampling according to leverage scores for $\ell_2$ regression, but with exponentially better dependence on $δ$. We also give a corresponding lower bound of $Ω(\frac{d}{\varepsilon^2} + (d + \frac{1}{\varepsilon^2}) \log\frac{1}δ)$.

연구 동기 및 목표

• 고정확도 (1+ε)-근사해를 보장하면서 레이블 쿼리 수를 최소화하는 ℓ1 회귀를 위한 활성 학습 알고리즘을 개발한다.
• ℓ2 손실 대신 ℓ1 손실에 초점을 맞춰 이상치 및 무거운 尾비교 노이즈에 대한 강건성을 확보한다.
• 디자인 행렬의 행을 ℓ1 Lewis 가중치에 따라 샘플링할 경우 활성 ℓ1 회귀에서 거의 최적의 샘플 복잡도를 달성할 수 있음을 보여준다.
• 필요한 쿼리 수의 이론적 하한을 설정하여 제안된 방법의 거의 최적성임을 입증한다.

제안 방법

• 디자인 행렬 X의 행에 대해 중요도 샘플링 확률로 Lewis 가중치를 사용하여 효율적으로 레이블을 부분 샘플링한다.
• 비적응형 샘플링 및 재가중치 부여 스크래치 S ∈ ℝm×n을 사용한다. 여기서 각 행은 확률 비례로 보정된 보상 pi에 따라 1/pi ei이다.
• 부분 샘플된 데이터에 대해 경험적 위험 최소화를 적용한다: β̂ = argmin ∥SXβ − Sy∥₁.
• Lewis 가중치를 통한 ℓ1 노름의 하위공간 임베딩 보장을 활용하여, 모든 β에 대해 ∥SXβ∥₁ ≈ ∥Xβ∥₁임을 보장한다.
• Lewis 가중치를 제한하고 [CP15]의 모멘트 한계를 적용하기 위해 보조 행렬 X′을 새로운 방식으로 구성한다.
• Rademacher 복잡도와 모멘트 분석을 활용하여 경험 목적함수와 진짜 목적함수 간의 편차를 제어한다.

실험 결과

연구 질문

• RQ1 Lewis 가중치 샘플링은 하위선형 수준의 레이블 수를 사용하여 고정확도 (1+ε)-근사 ℓ1 회귀를 달성할 수 있는가?
• RQ2 ℓ1 회귀에 대한 Lewis 가중치 샘플링의 샘플 복잡도는 ℓ2 회귀에 대한 리거리지 스코어 샘플링과 비교해 δ-의존성 측면에서 어떻게 다른가?
• RQ3 제안된 샘플 복잡도가 거의 최적인지, 아니면 하한을 설정하여 그 타당성을 확인할 수 있는가?
• RQ4 ℓ1 회귀에서 닫힌 형태의 해가 없음을 부분 샘플링과 모멘트 기반 분석을 통해 극복할 수 있는가?
• RQ5 활성 ℓ1 회귀에서 근사 오차 ε, 신뢰도 δ, 샘플 크기 m 사이의 상호 상관 관계는 어떠한가?

주요 결과

• 제안된 방법은 m = O(1/ε² d log d/εδ)개의 레이블 쿼리로 고정확도 1−δ로 (1+ε)-근사 ℓ1 회귀를 달성한다.
• 샘플 복잡도는 ℓ2 리거리지 스코어 방법보다 δ에 대해 지수적으로 더 좋은 의존성을 보이며, ℓ2 방법의 O(1/ε² d log(1/δ)) 스케일링과 대비된다.
• 상한의 거의 최적성을 입증하기 위해 Ω(d log(1/δ) + d/ε² + 1/ε² log(1/δ))의 일치하는 하한이 확립되었다.
• 이 방법은 비적응형이므로 이전 결과에 기반한 순차적 쿼리가 필요하지 않다.
• 경험 목적함수와 진짜 목적함수 간의 편차를 제어함으로써 ℓ1 회귀에서 다중 최소화자 문제를 다룰 수 있도록 분석이 확장되었다.
• 핵심 기술적 혁신은 Lewis 가중치를 제한하고 이전 연구의 모멘트 한계 적용을 가능하게 하는 행렬 구성이다.