[論文レビュー] Towards a Zero-One Law for Entrywise Low Rank Approximation.

Zhao Song, David P. Woodruff+1 more|arXiv (Cornell University)|Nov 4, 2018

Stochastic Gradient Optimization Techniques参考文献 13被引用数 5

ひとこと要約

本稿では、近似単調性および近似三角不等式を満たす任意の関数 $ g $ に対して動作する、エントリごとの低ランク近似の一般枠組みを導入し、poly($ k $)-近似アルゴリズムを提供する。さらに、誤差エントリが有限な $ (1+\gamma) $-モーメントを持つ i.i.d. に分布する場合の $ \ell_1 $ 損失に対しては $ (1+\epsilon) $-近似を達成し、そのモーメント条件が必要であることを示している。

ABSTRACT

There are a number of approximation algorithms for NP-hard versions of low rank approximation, such as finding a rank-$k$ matrix $B$ minimizing the sum of absolute values of differences to a given matrix $A$, $\min_{ extrm{rank-}k~B}\|A-B\|_1$, or more generally finding a rank-$k$ matrix $B$ which minimizes the sum of $p$-th powers of absolute values of differences, $\min_{ extrm{rank-}k~B}\|A-B\|_p^p$. Many of these algorithms are linear time columns subset selection algorithms, returning a subset of ${ m{poly}}(k\log n)$ columns whose cost is no more than a ${ m{poly}}(k)$ factor larger than the cost of the best rank-$k$ matrix. The above error measures are special cases of the following general entrywise low rank approximation problem: given an arbitrary function $g:\mathbb{R} ightarrow\mathbb{R}_{\geq0}$, find a rank-$k$ matrix $B$ which minimizes $\|A-B\|_g=\sum_{i,j}g(A_{i,j}-B_{i,j})$. A natural question is which functions $g$ admit efficient approximation algorithms? Indeed, this is a central question of recent work studying generalized low rank models. We give approximation algorithms for every function $g$ which is approximately monotone and satisfies an approximate triangle inequality, and we show both of these conditions are necessary. Further, our algorithm is efficient if the function $g$ admits an efficient approximate regression algorithm. Our algorithm handles functions which are not even scale-invariant, such as the Huber loss function. Our algorithms have ${ m{poly}}(k)$-approximation ratio in general. We further improve the approximation ratio to (1+$\epsilon$) for $\ell_1$ loss when the entries of the error matrix are i.i.d. random variables drawn from a distribution $\mu$ of which (1+$\gamma$) moment exists, for an arbitrary small constant $\gamma>0$. We also show our moment assumption is necessary.

研究の動機と目的

• エントリごとの損失関数 $ g $ のうち、効率的な低ランク近似が可能なクラスを特定すること。
• Huber損失や $ \ell_p $-類似損失を含む、広範な非標準損失関数に適用可能な統一的アルゴリズムフレームワークを開発すること。
• 効率的な近似が可能となるために必要な、近似単調性および近似三角不等式という厳密な条件を確立すること。
• これらの条件が、poly($ k $)-近似アルゴリズムの存在にとって、必要かつ十分であることを示すこと。
• 誤差行列のエントリに弱い確率的仮定を置く場合に、$ \ell_1 $ 損失に対して近似比を $ (1+\epsilon) $ に改善できること。

提案手法

• アルゴリズムは、線形時間のカラムサブセット選択法を用い、$ \text{poly}(k\log n) $ 個のカラムを選択して低ランク近似を構築する。
• 関数 $ g $ が効率的な回帰オракルを備えていると仮定し、エントリごとの低ランク近似問題を $ g $ に関する近似回帰問題に還元する。
• ランダム射影とサンプリングを用いた行列のスケッチ構築に依存し、$ g $ に対して誤差境界が保たれることを保証する。
• 関数 $ g $ が近似単調性を満たし、近似三角不等式を満たすならば、近似比が $ \text{poly}(k) $ で有界であることを証明する。
• $ \ell_1 $ 損失の場合、i.i.d. な誤差仮定の下で集中不等式を活用し、$ (1+\epsilon) $-近似を達成する。
• 本フレームワークは一般性に富み、スケール不変でない関数（例：Huber損失）を効果的に取り扱い、従来の方法がカバーできなかった分野を拡張する。

実験結果

リサーチクエスチョン

• RQ1 どの関数 $ g $ がエントリごとの低ランク近似に対して効率的な poly($ k $)-近似アルゴリズムを許容するか？
• RQ2 近似単調性および近似三角不等式が、そのような近似保証にとって、必要かつ十分であるか？
• RQ3 誤差行列に確率的仮定を置いた場合に、$ \ell_1 $ 損失に対して近似比を $ (1+\epsilon) $ に改善できるか？
• RQ4 $ \ell_1 $ の $ (1+\epsilon) $-近似を可能にするために必要な誤差分布の最小モーメント条件は何か？
• RQ5 本フレームワークは、Huber損失のようなスケール不変でない損失関数に対しても適用可能か？

主な発見

• 本稿では、エントリごとの低ランク近似において、近似単調性および近似三角不等式が、poly($ k $)-近似アルゴリズムの存在にとって必要かつ十分であることを確立した。
• これらの2条件を満たす任意の関数 $ g $ に対して、$ \text{poly}(k) $-近似を達成する一般アルゴリズムを提供した。
• $ \ell_1 $ 損失の場合、誤差行列のエントリが任意の $ \gamma > 0 $ に対して有限な $ (1+\gamma) $-モーメントを持つ i.i.d. に分布する場合、アルゴリズムは $ (1+\epsilon) $-近似を達成する。このモーメント条件がタイトであることも示された。
• 本フレームワークは、スケール不変でない関数（例：Huber損失）を効果的に処理でき、従来のスケール不変または対称損失に限られた結果を拡張した。
• 近似比は行列の次元 $ m $ と $ n $ に依存せず、$ k $ のみに依存するため、大規模行列に対してもスケーラブルである。
• 関数 $ g $ に対して効率的な回帰オラクルが利用可能な場合、各カラム選択が線形時間で実行可能であり、大規模データに対して実用的である。