[논문 리뷰] Approximate Sparse Linear Regression

Sariel Har-Peled, Piotr Indyk외 1명|arXiv (Cornell University)|2016. 09. 28.

Sparse and Compressive Sensing Techniques참고 문헌 3인용 수 4

한 줄 요약

이 논문은 근사 최근접 이웃(ANN) 데이터 구조를 사용하여 근사 최적의 쿼리 시간을 달성하는 희소 선형 회귀 및 관련 기하 문제에 대한 근사 알고리즘을 제시한다. 일정한 희소성 k에 대해, eO(n^{k-1})의 쿼리 시간을 달성하며, 애매하게 기울어진 가설에 기반한 조건부 하한과 일치한다. 또한 기계 학습 및 컴퓨터 비전 분야에서 실용적인 함의를 지닌 새로운 기하 하위문제를 제안한다.

ABSTRACT

In the Sparse Linear Regression (SLR) problem, given a $d imes n$ matrix $M$ and a $d$-dimensional query $q$, the goal is to compute a $k$-sparse $n$-dimensional vector $τ$ such that the error $||M τ-q||$ is minimized. This problem is equivalent to the following geometric problem: given a set $P$ of $n$ points and a query point $q$ in $d$ dimensions, find the closest $k$-dimensional subspace to $q$, that is spanned by a subset of $k$ points in $P$. In this paper, we present data-structures/algorithms and conditional lower bounds for several variants of this problem (such as finding the closest induced $k$ dimensional flat/simplex instead of a subspace). In particular, we present approximation algorithms for the online variants of the above problems with query time $ ilde O(n^{k-1})$, which are of interest in the "low sparsity regime" where $k$ is small, e.g., $2$ or $3$. For $k=d$, this matches, up to polylogarithmic factors, the lower bound that relies on the affinely degenerate conjecture (i.e., deciding if $n$ points in $\mathbb{R}^d$ contains $d+1$ points contained in a hyperplane takes $Ω(n^d)$ time). Moreover, our algorithms involve formulating and solving several geometric subproblems, which we believe to be of independent interest.

연구 동기 및 목표

• 낮은 희소성 k를 가진 온라인/쿼리 설정에서 희소 선형 회귀(SLR)의 계산 복잡도를 다루기.
• 증명 가능 보장을 갖는 효율적인 근사 알고리즘을 개발하여 SLR, 애파인 SLR, 볼록 SLR 변형에 적용하기.
• 희소 모델링과 관련된 기하 하위문제인 가장 가까운 유도된 k-평면 또는 k-단체를 찾는 문제를 제시하고 해결하기.
• 애매하게 기울어진 가설에 기반한 조건부 하한을 수립하여 SLR 알고리즘의 향상 한계를 이해하기.
• 기하 문제를 근사 최근접 이웃 쿼리로 환원하는 프레임워크를 제공하여 실용적 구현 가능성을 확보하기.

제안 방법

• P에 속한 k개의 점에 의해 유도되는 k차원 평면 또는 단체에 가장 가까운 점을 찾는 기하 문제로 희소 선형 회귀 문제를 환원하기.
• SLR 변형의 효율적인 쿼리 데이터 구조를 구축하기 위해 (1+ε)-근사 최근접 이웃(ANN) 데이터 구조를 기본 원리로 사용하기.
• 각 점 c ∈ P를 중심으로 별 모양의 데이터 구조를 구성하여 희소 표현에 필요한 후보 점들을 포괄하기.
• 재귀적 콘 커파이팅 및 거리 분석을 적용하여 근사 오차를 제한하고 기하 제약 조건 하에서 (1+ε)-근사 보장을 확보하기.
• ANN 거리가 작을 경우 표준 ANN 쿼리로 충분하며, 더 큰 거리는 기하학적 프루닝을 통해 처리하기.
• 특히 구형 및 콘 형태의 절삭된 점 집합 위에서 다중 ANN 쿼리를 조합하여 전체 희소 회귀 문제의 행동을 시뮬레이션하기.

실험 결과

연구 질문

• RQ1 고차원에서 일정한 희소성 k를 가진 희소 선형 회귀에 대해, 지수적 시간 이하의 쿼리 시간을 달성할 수 있는가?
• RQ2 SLR에 대해 near-linear 또는 near-polynomial 쿼리 시간 내에서 달성 가능한 최선의 근사 요인은 무엇인가?
• RQ3 애매하게 기울어진 가설에 기반한 조건부 하한은 SLR 알고리즘의 성능에 어떤 제약을 끼치는가?
• RQ4 가장 가까운 유도된 평면 또는 단체와 같은 기하 하위문제를 상한이 있는 오버헤드로 근사 최근접 이웃 쿼리로 환원할 수 있는가?
• RQ5 온라인 SLR 설정에서 공간, 쿼리 시간, 근사 품질 간의 상호 교환 관계는 어떠한가?

주요 결과

• k = 2일 경우, 쿼리 시간 O(n log n + n/ε^d)로 가장 가까운 유도된 선분 문제에 대해 (2 + ε)-근사가 달성되며, 알려진 하한과 로그 인자 외에는 일치한다.
• 제안된 근사 최근접 유도 선분 알고리즘은 O(S(n, ε)n log n)의 공간을 사용하고, O(TQ(n, ε)nε^{-2} log n)의 쿼리 시간을 가지며, 여기서 S와 TQ는 기반 (1+ε)-ANN 구조의 공간 및 쿼리 시간을 의미한다.
• 일반적인 k-희소 케이스의 경우 쿼리 시간은 eO(n^{k-1})이며, k = d일 때 애매하게 기울어진 가설에 기반한 조건부 하한과 일치한다.
• 프레임워크는 SLR 문제를 철저히 구성된 점 집합 위에서 (1+ε/4)-ANN 쿼리의 시퀀스로 환원하여, 고확률로 (1+ε)-근사 보장을 확보한다.
• 분석 결과, ANN 거리가 작을 경우(O(√ε r)), 표준 ANN 쿼리로 충분하며, 그렇지 않은 경우 콘과 구를 이용한 기하학적 프루닝이 오차를 유한하게 유지한다.
• 공간 오버헤드가 n에 대해 로그 인자 수준임을 입증하여, 낮은 희소성에서 대규모 데이터에 대해 실용적인 접근임을 보였다.