[논문 리뷰] Dimensionality Reduction for Tukey Regression

Kenneth L. Clarkson, Ruosong Wang외 1명|arXiv (Cornell University)|2019. 05. 14.

Face and Expression Recognition참고 문헌 29인용 수 4

한 줄 요약

이 논문은 행 샘플링과 옹성 스케치를 사용하여 과잉 결정된 투키 회귀 문제에 대한 차원 축소 기법을 처음으로 제안한다. 이는 대규모 문제를 더 작은 가중치가 부여된 인스턴스로 축소한다. $(1+\varepsilon)$-근사 해를 $\widetilde{O}(\operatorname{nnz}(A) + \operatorname{poly}(d\log n/\varepsilon))$ 시간 내에 달성하며, 이론적 보장과 합성 및 실세계 데이터셋에 대한 실험적 검증을 제공한다.

ABSTRACT

We give the first dimensionality reduction methods for the overconstrained Tukey regression problem. The Tukey loss function $\|y\|_M = \sum_i M(y_i)$ has $M(y_i) \approx |y_i|^p$ for residual errors $y_i$ smaller than a prescribed threshold $τ$, but $M(y_i)$ becomes constant for errors $|y_i| > τ$. Our results depend on a new structural result, proven constructively, showing that for any $d$-dimensional subspace $L \subset \mathbb{R}^n$, there is a fixed bounded-size subset of coordinates containing, for every $y \in L$, all the large coordinates, with respect to the Tukey loss function, of $y$. Our methods reduce a given Tukey regression problem to a smaller weighted version, whose solution is a provably good approximate solution to the original problem. Our reductions are fast, simple and easy to implement, and we give empirical results demonstrating their practicality, using existing heuristic solvers for the small versions. We also give exponential-time algorithms giving provably good solutions, and hardness results suggesting that a significant speedup in the worst case is unlikely.

연구 동기 및 목표

• 투키 회귀는 비볼록이고 유한한 손실 함수를 사용하는 강건한 회귀의 한 형태이지만, 효율적인 차원 축소 기법의 부재를 해결한다.
• 대규모 투키 회귀 문제를 더 작고 다룰 수 있는 인스턴스로 축소하기 위한 실용적이고 이론적으로 정확한 방법을 개발한다.
• 행 샘플링과 옹성 스케치 접근법에 대해 각각 $(1+\varepsilon)$-근사와 $O(\log n)$-근사 보장을 보장하는 이론적 근거를 제공한다.
• 합성 및 실세계 데이터셋을 통한 실험적 평가를 통해 방법의 실용성을 입증한다. 특히 이상치에 강건한 성능을 보인다.

제안 방법

• 투키 손실 하에서 잔차 리지어스 스코어를 기반으로 가중치가 부여된 행의 부분집합을 선택하는 행 샘플링 알고리즘을 제안하여, 원래 문제에 대해 $(1+\varepsilon)$-근사 해를 확보한다.
• 임의의 $d$차원 부분공간에 대해, 큰 잔차를 모두 포괄할 수 있는 고정 크기의 좌표 집합이 존재함을 보여주는 구조 정리(Structural Theorem)를 도입한다. 이는 효율적인 샘플링을 가능하게 한다.
• 행 수가 $\operatorname{poly}(d\log n)$인 옹성 스케치 행렬 $S$를 사용하여 $O(\log n)$-근사 해를 도출한다. 이 행렬은 $O(\operatorname{nnz}(A))$ 시간 내에 계산 가능하며, 입력 데이터에 의존하지 않는다.
• 기존의 IRLS 솔버를 수정하여 가중치가 부여된 투키 회귀 문제를 다룰 수 있도록 하여, 축소된 인스턴스에서의 실용적 구현을 가능하게 한다.
• 샘플링된 문제에서 비제로 가중치의 수가 $\operatorname{poly}(d\log n/\varepsilon)$가 되도록 하며, $\widetilde{O}(\operatorname{nnz}(A) + \operatorname{poly}(d\log n/\varepsilon))$ 시간 내에 알고리즘을 실행한다.
• 스케치 행렬 $S$가 $A$와 $b$에 독립적이므로, 스트리밍 및 분산 환경에 적합한 단일 패assing 처리가 가능하다.

실험 결과

연구 질문

• RQ1 비볼록이고 유한한 손실 함수를 사용하는 투키 회귀 문제에 대해 차원 축소가 효과적으로 적용될 수 있는가?
• RQ2 임의의 $d$차원 부분공간에서 모든 큰 잔차를 포괄할 수 있는 고정 크기의 좌표 집합을 식별할 수 있는 투키 손실의 구조적 특성은 무엇인가?
• RQ3 행 샘플링과 옹성 스케치를 동시에 사용하여, 이론적 근사 보장이 보장된 더 작은 문제로 투키 회귀 문제를 축소할 수 있는가?
• RQ4 제안된 방법들은 실세계 및 합성 데이터셋에서 실제로 어떻게 작동하는가? 특히 이상치 조건 하에서의 성능은 어떠한가?
• RQ5 오직 $O(d)$개의 행만을 사용하여 효율적이고 거의 최적의 해를 달성할 수 있는가? 근사 품질과 계산 효율성 사이의 상충 관계는 무엇인가?

주요 결과

• 행 샘플링 알고리즘은 $\widetilde{O}(\operatorname{nnz}(A) + \operatorname{poly}(d\log n/\varepsilon))$ 시간 내에 원래 투키 회귀 문제에 대해 $(1+\varepsilon)$-근사 해를 달성한다.
• 옹성 스케치 접근법은 $\operatorname{poly}(d\log n)$개의 행과 $O(\operatorname{nnz}(A))$ 계산 시간을 사용하여 $O\left(\log n\right)$-근사 해를 도출한다. 이는 입력 데이터에 영향을 받지 않는다.
• 실험 결과, 행 샘플링 방법은 대부분의 데이터셋에서 문제 크기를 $3d$개의 행으로 줄였고, 근사 비율이 최대 2 이내로 유지됨을 보였다.
• 행 샘플링 방법은 특히 스케치 크기가 클수록 옹성 스케치보다 근사 품질에서 뛰어나며, 스케치 방법은 더 빠르고 스트리밍 환경에 더 적합하다.
• 이러한 방법들은 페이스북 댓글 수, 가전기기 에너지 예측, CT 슬라이스 위치 추정과 같은 실세계 데이터셋에서도 실용적이고 효과적이다. 특히 $b$의 $5\%$가 이상치로 훼손된 경우에도 잘 작동한다.
• 어려움 결과는 투키 회귀 문제에 대해 상당한 최악의 경우 성능 향상이 어렵다는 것을 시사하며, 제안된 근사 보장의 최적성에 대한 근거를 제공한다.