[論文レビュー] Coresets for Near-Convex Functions

Murad Tukan, Alaa Maalouf+1 more|arXiv (Cornell University)|Jun 9, 2020

Sparse and Compressive Sensing Techniques参考文献 41被引用数 7

ひとこと要約

本稿では、関数へのSVDの一般化であるf-SVD因子分解を用いて、近凸関数のコアセットを構築する汎用フレームワークを提案する。この手法により、近似保証が保証された感度ベースのコアセット構築が可能になる。主な貢献は、SVM、ロジスティック回帰、ℓz回帰といった多様な問題に対して、入力サイズに依存しないが、次元および精度パラメータに関して多項式的なサイズの小さなコアセットを生成する統一的アプローチを提供することである。

ABSTRACT

Coreset is usually a small weighted subset of $n$ input points in $\mathbb{R}^d$, that provably approximates their loss function for a given set of queries (models, classifiers, etc.). Coresets become increasingly common in machine learning since existing heuristics or inefficient algorithms may be improved by running them possibly many times on the small coreset that can be maintained for streaming distributed data. Coresets can be obtained by sensitivity (importance) sampling, where its size is proportional to the total sum of sensitivities. Unfortunately, computing the sensitivity of each point is problem dependent and may be harder to compute than the original optimization problem at hand. We suggest a generic framework for computing sensitivities (and thus coresets) for wide family of loss functions which we call near-convex functions. This is by suggesting the $f$-SVD factorization that generalizes the SVD factorization of matrices to functions. Example applications include coresets that are either new or significantly improves previous results, such as SVM, Logistic regression, M-estimators, and $\ell_z$-regression. Experimental results and open source are also provided.

研究の動機と目的

• 広範な損失関数クラスに対して、感度を計算し、コアセットを構築する汎用的かつ問題に依存しないフレームワークの開発を目的とする。
• 従来のコアセット手法における感度計算の高コストを解消するため、統一的な因子分解手法を導入することを目的とする。
• SVM、ロジスティック回帰、M推定量などの機械学習問題に対して、入力サイズに依存せず、次元および精度パラメータに関して多項式的なサイズの小さな、証明可能な正確性を持つコアセットを構築することを目的とする。
• 近凸関数の構造的性質を活用することで、コアセットサイズが入力サイズに依存するのを軽減することを目的とする。
• 複数の学習問題に適用可能な統一的メソッドを提供し、従来の問題特化型コアセット構築法を凌駆することを目的とする。

提案手法

• 関数へのSVDの一般化であるf-SVD因子分解を導入し、損失関数を構造的な形で表現する。
• 非線形損失の線形表現を可能にするために、変換p ↦ [||p||², 2p, 1] を用いて入力点を高次元空間にマップする。
• 変換空間上での双対損失関数g_ℓ₂(p', x') = |p'ᵀx'|を定義し、線形汎関数を用いた感度分析を可能にする。
• 双対空間および次元性を用いて変換された点の総感度を束縛し、ℓ₂損失ではt ≤ (d+2)^1.5が得られる。
• 逆確率重み付けを用いた感度サンプリングを適用し、ε-コアセットをサイズO((d+2)^2.5 / ε²) × (d log((d+2)^2.5) + log(1/δ))で構築する。
• ロジスティック回帰やSVMといった問題を変換によりℓ₂回帰に還元し、O(nd + poly(d))時間で効率的なf-SVD計算を可能にする。

実験結果

リサーチクエスチョン

• RQ1 非凸または近凸損失関数の広範なクラスに対して、感度を計算する汎用的フレームワークを開発することは可能か？
• RQ2 統一的な因子分解手法を用いることで、コアセット構築における感度計算のボトルネックを軽減できるか？
• RQ3 SVM やロジスティック回帰といった問題に対して、入力サイズに依存せず、次元および精度パラメータに関して多項式的なサイズのコアセットを構築できるか？
• RQ4 f-SVD因子分解は、複数の機械学習問題にわたって効率的かつ証明可能なコアセット構築を可能にするか？
• RQ5 幾何学的および線形代数的性質を用いて、変換された点の総感度を束縛できるか？

主な発見

• f-SVD因子分解により、非線形損失を高次元空間における線形形式に変換することで、近凸関数に対する感度ベースのコアセット構築が可能になる。
• ℓ₂損失（例：最小二乗回帰）では、総感度が(d+2)^1.5で束縛され、コアセットサイズがO((d+2)^2.5 / ε²) × (d log((d+2)^2.5) + log(1/δ))となる。
• SVM、ロジスティック回帰、M推定量、ℓz回帰に対して、従来のものよりも新しいか顕著に改善されたコアセットが得られる。これは、これらの問題をℓ₂回帰に還元することで実現される。
• コアセットがすべてのクエリに対して1±ε要因内で損失を保持できることから、ストリーミング処理、分散処理、制約付き最適化をサポートする。
• 理論的解析により、コアセット構築が高確率1−δで正当であることが示され、サイズが入力サイズに対して対数的に依存する。
• ℓz回帰への還元により、f-SVD計算のための効率的アルゴリズムが可能となり、乱択手法を用いて近線形時間での構築が可能になる。