[論文レビュー] Faster PAC Learning and Smaller Coresets via Smoothed Analysis

Alaa Maalouf, Ibrahim Jubran+2 more|arXiv (Cornell University)|Jun 9, 2020

Machine Learning and Algorithms参考文献 33被引用数 5

ひとこと要約

本稿では、平均誤差を近似することを目的とし、最悪ケース誤差ではなく、クエリ全体における平均誤差を近似する smoothed analysis を用いた、より高速な PAC 学習およびより小さなコアセットを実現する新規フレームワークを提案する。smoothed analysis と決定的アルゴリズムを組み合わせることで、入力サイズ n に依存しないコアセットおよび ε-サンプルを実現し、ストリーミングベクタ要約や k-PCA などの応用分野における実行時間と理論的保証を向上させる。

ABSTRACT

PAC-learning usually aims to compute a small subset ($\varepsilon$-sample/net) from $n$ items, that provably approximates a given loss function for every query (model, classifier, hypothesis) from a given set of queries, up to an additive error $\varepsilon\in(0,1)$. Coresets generalize this idea to support multiplicative error $1\pm\varepsilon$. Inspired by smoothed analysis, we suggest a natural generalization: approximate the \emph{average} (instead of the worst-case) error over the queries, in the hope of getting smaller subsets. The dependency between errors of different queries implies that we may no longer apply the Chernoff-Hoeffding inequality for a fixed query, and then use the VC-dimension or union bound. This paper provides deterministic and randomized algorithms for computing such coresets and $\varepsilon$-samples of size independent of $n$, for any finite set of queries and loss function. Example applications include new and improved coreset constructions for e.g. streaming vector summarization [ICML'17] and $k$-PCA [NIPS'16]. Experimental results with open source code are provided.

研究の動機と目的

• 従来の PAC 学習およびコアセット構築の限界に対処する。これらは最悪ケース誤差バウンドに焦点を当てており、しばしば大きな部分集合を必要とする。
• smoothed analysis を用いて、最悪ケースから平均ケース誤差近似へと焦点を移すことで、コアセットおよび ε-サンプルのサイズを低減する。
• 入力サイズ n に依存しないコアセットおよび ε-サンプルを生成する決定的および確率的アルゴリズムを開発する。
• ストリーミングベクタ要約や k-PCA といったコアとなるアプリケーションにおける実行時間効率と理論的バウンドを向上させる。
• 回帰や次元削減に用いられる損失関数やクエリ空間を含む、さまざまなクエリ空間および損失関数に一般化可能なフレームワークを提供する。

提案手法

• 最悪ケース誤差ではなく、クエリ全体における平均誤差を近似する smoothed analysis フレームワークを導入する。
• 凸結合とベクトル正規化に基づく決定的アルゴリズムを用いて、誤差が有界なコアセットを構築する。
• 反復的精錬において収束を向上させ、コアセットサイズを削減するため、Frank-Wolfe スタイルの最適化を活用する。
• smoothed analysis を用いて最悪ケースクエリ行動への依存を緩和し、誤差保証を維持したままより小さな部分集合を実現する。
• ℓ₂ および ℓ₁ ノルム不等式を用いて、誤差バウンドを保証するため、ベクトル正規化と重み付き和近似を適用する。
• Theorems 5.1 および 6.1 を Algorithm 1 および 2 と統合し、n に依存しないコアセットサイズバウンドを導出する。実行時間は O(nd/ε²) および O(nd + d·log²(n)/ε⁴) である。

実験結果

リサーチクエスチョン

• RQ1 平均誤差に焦点を当てることで、n に依存しないコアセットおよび ε-サンプルを構築することは可能か？
• RQ2 smoothed analysis をどのように活用することで、コアセット構築を改善し、部分集合サイズを低減しつつ理論的誤差保証を維持できるか？
• RQ3 PAC 学習における最悪ケースと平均ケース誤差近似の間には、理論的およびアルゴリズム的トレードオフが生じるか？
• RQ4 smoothed analysis の文脈において、決定的アルゴリズムは確率的アルゴリズムよりも小さいコアセットサイズを達成できるか？
• RQ5 提案されたフレームワークは、ストリーミングベクタ要約や k-PCA といった実世界の問題にどの程度適用可能か？

主な発見

• 提案されたフレームワークは、n に依存しないサイズの ε-サンプルおよびコアセットを構築し、従来の最悪ケースアプローチよりも優れた理論的バウンドを達成する。
• k-PCA において、1-平均 (2ε)-コアセットを O(1/ε²) 個の非ゼロ要素で得ることができ、部分集合サイズを顕著に削減する。
• ε-サンプルでは O(nd/ε²) 時間、1-平均コアセットでは O(nd + d·log²(n)/ε⁴) 時間で実行され、スケーラブルな計算を可能にする。
• 理論的分析により、損失の重み付き和の近似誤差が ε で有界であることが証明され、ℓ₂ および ℓ₁ ノルム不等式を用いて厳密なバウンドが導出された。
• オープンソースコードを用いた実験結果は、ストリーミングベクタ要約および k-PCA において性能の向上を示し、理論的主張を検証する。
• 損失関数を適切に変換することで、回帰やカーネル法に用いられるものも含め、さまざまな損失関数およびクエリ空間に一般化可能である。