[논문 리뷰] Towards a Zero-One Law for Column Subset Selection

Zhao Song, David P. Woodruff외 1명|arXiv (Cornell University)|2018. 11. 04.

Sparse and Compressive Sensing Techniques인용 수 8

한 줄 요약

이 논문은 일반화된 낮은 질량 근사에서 열 부분집합 선택에 대해 0-1 법칙을 수립하며, 거의 단조적이며 약간의 삼각 부등식을 만족하는 모든 입자별 손실 함수 $ g $ 에 대해 효율적인 알고리즘이 존재함을 증명한다. 이는 스케일 불변성 없고 $ \ell_p $-노름이 아닌 손실 함수, 예를 들어 Huber 및 역 Huber 함수에 대해 처음으로 효율적인 열 부분집합 선택 알고리즘을 도입하며, 이러한 함수들은 $ \ell_p $-노름보다 $ \sqrt{\log n} $-요인만큼 더 많은 열이 필요하다는 것을 보이며, $ g $ 에 대한 최소한의 구조적 가정 하에 날카운 approximation 보장을 제공한다.

ABSTRACT

There are a number of approximation algorithms for NP-hard versions of low rank approximation, such as finding a rank-$k$ matrix $B$ minimizing the sum of absolute values of differences to a given $n$-by-$n$ matrix $A$, $\min_{ extrm{rank-}k~B}\|A-B\|_1$, or more generally finding a rank-$k$ matrix $B$ which minimizes the sum of $p$-th powers of absolute values of differences, $\min_{ extrm{rank-}k~B}\|A-B\|_p^p$. Many of these algorithms are linear time columns subset selection algorithms, returning a subset of $\mathrm{poly}(k \log n)$ columns whose cost is no more than a $\mathrm{poly}(k)$ factor larger than the cost of the best rank-$k$ matrix. The above error measures are special cases of the following general entrywise low rank approximation problem: given an arbitrary function $g:\mathbb{R} ightarrow \mathbb{R}_{\geq 0}$, find a rank-$k$ matrix $B$ which minimizes $\|A-B\|_g = \sum_{i,j}g(A_{i,j}-B_{i,j})$. A natural question is which functions $g$ admit efficient approximation algorithms? Indeed, this is a central question of recent work studying generalized low rank models. In this work we give approximation algorithms for $ extit{every}$ function $g$ which is approximately monotone and satisfies an approximate triangle inequality, and we show both of these conditions are necessary. Further, our algorithm is efficient if the function $g$ admits an efficient approximate regression algorithm. Our approximation algorithms handle functions which are not even scale-invariant, such as the Huber loss function, which we show have very different structural properties than $\ell_p$-norms, e.g., one can show the lack of scale-invariance causes any column subset selection algorithm to provably require a $\sqrt{\log n}$ factor larger number of columns than $\ell_p$-norms; nevertheless we design the first efficient column subset selection algorithms for such error measures.

연구 동기 및 목표

• 효율적인 열 부분집합 선택 알고리즘을 가능하게 하는 입자별 손실 함수 $ g $ 의 최소 구조적 조건을 규명하는 것.
• Huber 및 역 Huber와 같은 스케일 불변성 없고 비-$ \ell_p $ 손실 함수가 열 선택을 통한 효율적인 낮은 질량 근사에 적합한지 여부를 해결하는 것.
• 열 부분집합 선택에 대해 0-1 법칙을 수립하여, 어떤 함수 $ g $ 가 상수 요인 근사와 $ \operatorname{poly}(k\log n) $ 개의 열을 통해 가능하게 하는지를 규명하는 것.
• 비-$ \ell_p $ 손실 함수에 대해 열 부분집합 선택의 본질적 한계를 분석하여, $ \ell_p $-노름에 비해 필요 열 수가 $ \sqrt{\log n} $-요인만큼 증가함을 보이는 것.

제안 방법

• 임의의 $ g: \mathbb{R} \to \mathbb{R}_{\geq 0} $ 에 대해 $ \|A - B\|_g = \sum_{i,j} g(A_{i,j} - B_{i,j}) $ 를 최소화하는 일반화된 낮은 질량 근사 문제를 정의한다.
• 효율적 근사에 필요한 두 가지 조건을 도입: $ g $ 에 대한 약간의 단조성과 약간의 삼각 부등식이며, 이 두 조건이 모두 필수적임을 입증한다.
• 최적의 질량-$ k $ 해에 대해 $ \operatorname{poly}(k) $-요인 근사와 함께 $ \operatorname{poly}(k\log n) $ 개의 열을 반환하는 열 부분집합 선택 알고리즘을 설계한다.
• $ g $ 가 그러한 회귀를 허용할 경우, 효율적인 근사 회귀 알고리즘을 활용하여 전체 알고리즘이 거의 선형 시간 내에 실행되도록 보장한다.
• 확률적 분석과 서명 패턴 집중 논증(Claim D.2를 활용)을 통해 열 부분집합의 피팅 비용에 하한을 증명한다.
• 예를 들어 한 개의 큰 열과 많은 작은 열을 가진 구체적인 어려운 예시를 구성하여, 비-$ \ell_p $ 손실 함수에 대해 $ \sqrt{\log n} $-요인 초과가 피할 수 없다는 것을 입증한다.

실험 결과

연구 질문

• RQ1 어떤 입자별 손실 함수 $ g $ 가 낮은 질량 근사에 대해 효율적인 열 부분집합 선택 알고리즘을 허용하는가?
• RQ2 약간의 단조성과 약간의 삼각 부등식이 이러한 알고리즘이 존재하기 위해 충분하고 필수 조건인가?
• RQ3 Huber나 역 Huber 함수와 같은 스케일 불변성 없는 손실 함수에 대해 효율적인 열 부분집합 선택이 가능할 수 있는가?
• RQ4 비-$ \ell_p $ 손실 함수에 대해 열 부분집합 선택의 본질적 비용 초과는 $ \ell_p $-노름에 비해 얼마나 되는가?
• RQ5 $ \ell_p $-노름과 비-$ \ell_p $ 손실 함수 간의 구조적 차이(예: 스케일 불변성의 부재)는 열 수 요구 조건 측면에서 형식적으로 정량화할 수 있는가?

주요 결과

• 논문은 0-1 법칙을 수립한다: 효율적인 열 부분집합 선택은 손실 함수 $ g $ 가 약간의 단조성을 가지며 약간의 삼각 부등식을 만족할 때에만 가능하다.
• Huber 손실 함수에 대해, 스케일 불변성이 없고 $ \ell_p $-노름과 다른 구조적 성질을 지닌다 해도 첫 번째로 효율적인 열 부분집합 선택 알고리즘을 설계한다.
• 역 Huber 함수는 단일 열로는 $ \Omega(n^{3/4}) $ 피팅 비용을 가지며, 최적의 질량-1 근사에서는 $ \Theta(n^{3/4}) $ 만큼만 비용이 발생하지만, 어떤 단일 열 부분집합이라도 $ \Omega(n) $ 비용을 유발하므로, $ \sqrt{\log n} $-요인 초과가 피할 수 없다는 것을 증명한다.
• 논문은 비-$ \ell_p $ 손실 함수에 대해 열 부분집합 선택 알고리즘이 $ \ell_p $-노름에 비해 $ \sqrt{\log n} $-요인만큼 더 많은 열이 필요하며, 이 경계는 날카로운 것으로 입증한다.
• 분석은 Huber 및 역 Huber와 같은 함수의 스케일 불변성 부재가 열 선택의 복잡성을 본질적으로 증가시키며, 이로 인해 증명 가능한 더 나쁜 근사 요인을 초래함을 보여준다.
• 모든 열 부분집합에 대한 유니온 바운드와 확률적 서명 패턴 집중(Claim D.2)을 사용하여, 최적의 질량-1 해가 훨씬 우수한 경우에도 단일 열로는 $ n^{o(1)} $-근사가 존재하지 않음을 보였다.