[論文レビュー] Towards a Zero-One Law for Column Subset Selection

Zhao Song, David P. Woodruff+1 more|arXiv (Cornell University)|Nov 4, 2018

Sparse and Compressive Sensing Techniques被引用数 8

ひとこと要約

本稿は、一般化された低ランク近似における列サブセット選択についてゼロ-ワン法則を確立し、任意のエントリワイズ損失関数 $ g $ が近似的に単調かつ近似的に三角不等式を満たす場合、効率的なアルゴリズムが存在することを証明する。非スケール不変で $ \ell_p $-ノルムでない損失関数、例えばHuber関数や逆Huber関数に対しても、初めての効率的列サブセット選択アルゴリズムを導入し、このような関数は $ \ell_p $-ノルムと比較して $ \sqrt{\log n} $ 要因分の追加列を必要とすることを示し、$ g $ に最小限の構造的仮定しかおかない状況でもタイトな近似保証を与える。

ABSTRACT

There are a number of approximation algorithms for NP-hard versions of low rank approximation, such as finding a rank-$k$ matrix $B$ minimizing the sum of absolute values of differences to a given $n$-by-$n$ matrix $A$, $\min_{ extrm{rank-}k~B}\|A-B\|_1$, or more generally finding a rank-$k$ matrix $B$ which minimizes the sum of $p$-th powers of absolute values of differences, $\min_{ extrm{rank-}k~B}\|A-B\|_p^p$. Many of these algorithms are linear time columns subset selection algorithms, returning a subset of $\mathrm{poly}(k \log n)$ columns whose cost is no more than a $\mathrm{poly}(k)$ factor larger than the cost of the best rank-$k$ matrix. The above error measures are special cases of the following general entrywise low rank approximation problem: given an arbitrary function $g:\mathbb{R} ightarrow \mathbb{R}_{\geq 0}$, find a rank-$k$ matrix $B$ which minimizes $\|A-B\|_g = \sum_{i,j}g(A_{i,j}-B_{i,j})$. A natural question is which functions $g$ admit efficient approximation algorithms? Indeed, this is a central question of recent work studying generalized low rank models. In this work we give approximation algorithms for $ extit{every}$ function $g$ which is approximately monotone and satisfies an approximate triangle inequality, and we show both of these conditions are necessary. Further, our algorithm is efficient if the function $g$ admits an efficient approximate regression algorithm. Our approximation algorithms handle functions which are not even scale-invariant, such as the Huber loss function, which we show have very different structural properties than $\ell_p$-norms, e.g., one can show the lack of scale-invariance causes any column subset selection algorithm to provably require a $\sqrt{\log n}$ factor larger number of columns than $\ell_p$-norms; nevertheless we design the first efficient column subset selection algorithms for such error measures.

研究の動機と目的

• エントリワイズ損失関数 $ g $ に対して、効率的な列サブセット選択アルゴリズムを可能にする最小限の構造的条件を同定すること。
• Huber や逆Huber のような非スケール不変で $ \ell_p $-ノルムでない損失関数が、列選択による効率的低ランク近似を許容するかどうかを解明すること。
• 列サブセット選択に対してゼロ-ワン法則を確立し、どの関数 $ g $ が $ \operatorname{poly}(k\log n) $ 列で定数因子近似を可能にするかを特徴づけること。
• 非-$ \ell_p $ 損失関数に対する列サブセット選択の本質的限界を分析し、$ \ell_p $-ノルムと比較して $ \sqrt{\log n} $-要因分の列数増加が実際に証明可能であることを示すこと。

提案手法

• 任意の $ g: \mathbb{R} \to \mathbb{R}_{\geq 0} $ に対して、$ \|A - B\|_g = \sum_{i,j} g(A_{i,j} - B_{i,j}) $ を最小化する一般化された低ランク近似問題を定義する。
• 効率的近似のための2つの必要条件を導入する：$ g $ における近似的単調性と近似的三角不等式であり、両者が必要であることが示された。
• 最適なランク-$ k $ 解に対して $ \operatorname{poly}(k) $ 要因の近似を得る $ \operatorname{poly}(k\log n) $ 列を返す列サブセット選択アルゴリズムを設計する。
• 損失関数 $ g $ に対して効率的な近似回帰アルゴリズムを活用し、$ g $ がこのような回帰を許容する場合、全体のアルゴリズムがほぼ線形時間で実行されることを保証する。
• 確率的解析と符号パターンの集中性（Claim D.2 を用いて）を用いて、列サブセットのフィッティングコストに対する下界を証明する。
• 一例として、1つの大きな列と多数の小さな列を持つ明示的なハードインスタンスを構築し、非-$ \ell_p $ 損失関数では $ \sqrt{\log n} $-要因のオーバーヘッドが避けられないことを示す。

実験結果

リサーチクエスチョン

• RQ1 どのエントリワイズ損失関数 $ g $ が、低ランク近似における効率的列サブセット選択アルゴリズムを許容するか？
• RQ2 近似的単調性と近似的三角不等式は、このようなアルゴリズムが存在するための十分かつ必要条件か？
• RQ3 Huber や逆Huber 関数のような非スケール不変損失関数に対しても、効率的列サブセット選択が達成可能か？
• RQ4 非-$ \ell_p $ 損失関数に対する列サブセット選択の本質的コストオーバーヘッドは、$ \ell_p $-ノルムと比較してどの程度か？
• RQ5 $ \ell_p $-ノルムと非-$ \ell_p $ 損失関数の間の構造的差異（例えばスケール不変性の欠如）を、列数要件の観点から形式的に定量化可能か？

主な発見

• 本稿はゼロ-ワン法則を確立する：効率的列サブセット選択は、損失関数 $ g $ が近似的に単調であり、近似的に三角不等式を満たす場合に限り可能である。
• Huber 損失関数に対しても、スケール不変性の欠如や $ \ell_p $-ノルムとは異なる構造的性質があるにもかかわらず、初めての効率的列サブセット選択アルゴリズムを設計した。
• 逆Huber関数では、1列のみで $ \Omega(n^{3/4}) $ のフィッティングコストが発生するが、最適なランク1近似は $ \Theta(n^{3/4}) $ のコストに留まる。一方、任意の1列のサブセットは $ \Omega(n) $ のコストを負担するため、$ \sqrt{\log n} $-要因のオーバーヘッドが避けられないことが証明された。
• 本稿は、非-$ \ell_p $ 損失関数に対する列サブセット選択アルゴリズムは、$ \ell_p $-ノルムと比較して $ \sqrt{\log n} $-要因分の列数を追加で必要とし、この境界がタイトであることを証明した。
• 解析により、Huber や逆Huber のような関数のスケール不変性の欠如が、列選択の複雑性を本質的に高め、結果として証明可能なより悪い近似因子をもたらすことが明らかになった。
• すべての列サブセットに対する和集合バウンドと確率的符号パターンの集中性（Claim D.2）を用いて、最適なランク1解がはるかに優れている場合でも、1列のみでは逆Huber関数に対して $ n^{o(1)} $-近似が存在しないことを示した。