[論文レビュー] Efficient Symmetric Norm Regression via Linear Sketching

Zhao Song, Ruosong Wang+3 more|arXiv (Cornell University)|Oct 4, 2019

Advanced Optimization Algorithms Research被引用数 8

ひとこと要約

本稿では、対称ノルム回帰に対する、証明可能保証を備えた入力スパarsity時間アルゴリズムを初めて提示する。新しい線形スケッチフレームワーク「SymSketch」を用い、Orliczノルムに対しては $(1+\varepsilon)$-近似解を達成し、一般の対称ノルムに対しては $\sqrt{d} \cdot \mathrm{mmc}(\ell) \cdot \mathrm{polylog}\,n$-近似解を達成する。これは、従来の $d \cdot \mathrm{polylog}\,n$ の近似比に比べて顕著に改善されている。

ABSTRACT

We provide efficient algorithms for overconstrained linear regression problems with size $n imes d$ when the loss function is a symmetric norm (a norm invariant under sign-flips and coordinate-permutations). An important class of symmetric norms are Orlicz norms, where for a function $G$ and a vector $y \in \mathbb{R}^n$, the corresponding Orlicz norm $\|y\|_G$ is defined as the unique value $α$ such that $\sum_{i=1}^n G(|y_i|/α) = 1$. When the loss function is an Orlicz norm, our algorithm produces a $(1 + \varepsilon)$-approximate solution for an arbitrarily small constant $\varepsilon > 0$ in input-sparsity time, improving over the previously best-known algorithm which produces a $d \cdot \mathrm{polylog} n$-approximate solution. When the loss function is a general symmetric norm, our algorithm produces a $\sqrt{d} \cdot \mathrm{polylog} n \cdot \mathrm{mmc}(\ell)$-approximate solution in input-sparsity time, where $\mathrm{mmc}(\ell)$ is a quantity related to the symmetric norm under consideration. To the best of our knowledge, this is the first input-sparsity time algorithm with provable guarantees for the general class of symmetric norm regression problem. Our results shed light on resolving the universal sketching problem for linear regression, and the techniques might be of independent interest to numerical linear algebra problems more broadly.

研究の動機と目的

• Orliczノルムやその他の対称ノルムを含む広範な損失関数クラスに適用可能な、普遍的なスケッチベースのアルゴリズムを対称ノルム回帰のためのものとして開発すること。
• 理論的スケッチ技法と実用的適用性のギャップを埋め、入力スパarsity時間内にOrliczノルムに対して $(1+\varepsilon)$-近似を達成すること。
• $\ell_p$ ノルムや $M$-推定量にとどまらず、トップ-$k$、サムミックス、$k$-サポートノルムなどの複雑な対称ノルムへも線形スケッチの適用範囲を拡張すること。
• 一般の対称ノルムに対して、証明可能な近似保証を提供し、ノルムの構造的複雑さを捉える新しい量 $\mathrm{mmc}(\ell)$ を導入すること。
• 線形回帰のための普遍的スケッチ問題を解決し、多様な対称ノルム損失に適用可能な単一のフレームワークを設計すること。

提案手法

• 対称ノルムに特化した構造的線形スケッチである「SymSketch」という新しいスケッチフレームワークを導入する。
• 2段階のスケッチプロセスを採用：まず、ランダムな埋め込みにより残差ベクトルを低次元空間に写像し、対称ノルム構造を保存する。
• 高速ジョンソン＝リンデンストラス変換による部分空間埋め込みを用いて、変換された残差の $\ell_2$-ノルムを保存し、その後、ノルム同値性の議論により元の対称ノルムに戻す。
• ノルムの対称性（符号反転および置換に対して不変）を活用し、特異値とデータ行列の構造にのみ依存するスケッチを設計する。
• スケッチ行列の $\ell_2$-埋め込み特性に対する新しい分析を適用し、$\mathrm{mmc}(\ell)$ というノルム固有の複雑さ測度を用いて近似比を評価する。
• スケッチと標準の最小二乗回帰を組み合わせることで、$O(\mathrm{nnz}(A) + \mathrm{poly}(d))$ 時間で近似解を計算する。

実験結果

リサーチクエスチョン

• RQ1 各損失関数ごとに新しい設計を要せず、入力スパarsity時間内に $(1+\varepsilon)$-近似を達成できる、単一のスケッチベースのアルゴリズムを設計できるか？
• RQ2 線形スケッチの成功を $\ell_p$ ノルムや $M$-推定量から、最適な近似比を達成するOrliczノルムへ拡張することは可能か？
• RQ3 Orliczノルムでないが機械学習で広く使われる一般の対称ノルム（例：トップ-$k$、サムミックス、$k$-サポートノルム）をどのように処理できるか？
• RQ4 最小のスケッチサイズは何か？ また、このようなフレームワークにおける近似品質を決定づけるノルムの構造的性質は何か？
• RQ5 ノルムのスケッチにおける挙動を捉える単一の複雑さパラメータ $\mathrm{mmc}(\ell)$ を導入することで、対称ノルムのスケッチ解析を統一できるか？

主な発見

• 提案された SymSketch アルゴリズムは、$O(\mathrm{nnz}(A) + \mathrm{poly}(d/\varepsilon))$ 時間で Orliczノルム回帰に対して $(1+\varepsilon)$-近似解を達成し、従来の $d \cdot \mathrm{polylog}\,n$-近似に比べて改善されている。
• 一般の対称ノルムに対しては、入力スパarsity時間内に $\sqrt{d} \cdot \mathrm{mmc}(\ell) \cdot \mathrm{polylog}\,n$-近似解を提供する。ここで $\mathrm{mmc}(\ell)$ はノルム固有の複雑さ測度である。
• 本アルゴリズムは、一般の対称ノルム回帰問題に対して、証明可能な入力スパarsity時間保証を達成する最初のものであり、普遍的スケッチ分野における重要な未解決問題を解決している。
• U.S. センサスおよび YearPredictionMSD データセットを用いた実験では、SymSketch は Orliczノルムおよび対称ノルムの両設定で、一様サンプリングや従来のスケッチ手法を上回る性能を示している。
• 埋め込み次元が $5d$ の場合、SymSketch はサムミックス $\ell_1 + \ell_2$ ノルムに対して $1.25$ の近似比を達成し、優れた実用的性能を示している。
• 理論的解析により、スケッチが変換された残差の $\ell_2$-ノルムを $O(\sqrt{d} \log^3 n)$ 要因以内に保存することが示され、これが対称ノルム近似の上限を評価するために用いられている。