[論文レビュー] Coresets for Classification -- Simplified and Strengthened

Tung Mai, Anup Rao+1 more|arXiv (Cornell University)|Jun 8, 2021

Machine Learning and Algorithms参考文献 30被引用数 9

ひとこと要約

本稿では、線形分類のための新しいコアセット構築法を提示する。この手法は、ℓ₁ レイウィズ重みによるサブサンプリングを用いて、$(1\pm\epsilon)$ の相対誤差を達成するため、$\tilde{O}(d \cdot \mu_y(X)^2 / \epsilon^2)$ 個のサンプルを必要とする。従来の境界を著しく改善し、ラベル依存性のないロジスティック損失やハードマージン損失に対しても適用可能であり、効率的なアクティブラーニングやマルチタスク学習を可能にする。

ABSTRACT

We give relative error coresets for training linear classifiers with a broad class of loss functions, including the logistic loss and hinge loss. Our construction achieves $(1\pm ε)$ relative error with $ ilde O(d \cdot μ_y(X)^2/ε^2)$ points, where $μ_y(X)$ is a natural complexity measure of the data matrix $X \in \mathbb{R}^{n imes d}$ and label vector $y \in \{-1,1\}^n$, introduced in by Munteanu et al. 2018. Our result is based on subsampling data points with probabilities proportional to their $\ell_1$ $Lewis$ $weights$. It significantly improves on existing theoretical bounds and performs well in practice, outperforming uniform subsampling along with other importance sampling methods. Our sampling distribution does not depend on the labels, so can be used for active learning. It also does not depend on the specific loss function, so a single coreset can be used in multiple training scenarios.

研究の動機と目的

• ロジスティック損失やハードマージン損失のような一般的な分類損失に対して、効率的な相対誤差コアセットが存在しないという問題に対処する。
• 先行研究を上回る理論的サンプル複雑度境界を、線形分類におけるコアセットの文脈で改善する。
• アクティブラーニングやマルチタスク利用を支援するため、ラベルや損失関数に依存しないサンプリング分布を構築する。
• 強力な理論的保証と実験的性能を兼ね備えた実用的で効率的なコアセット構築法を提供する。

提案手法

• 任意の $\beta$ に対して $\|X\beta\|_1$ を保持することができるため、データポイントのサンプリング分布として $\ell_1$ レイウィズ重みを用いる。
• 各ポイントの $\ell_1$ レイウィズ重みに比例する確率で、$\tilde{O}(d \cdot \mu_y(X)^2 / \epsilon^2)$ 個のポイントを選択してコアセットを構築する。
• 全データセット上の損失関数に対して相対誤差の保証を得るために、選択されたポイントに重みを再調整する。
• $\ell_1$ レイウィズ重みが $\tilde{O}(\operatorname{nnz}(X) + d^\omega)$ 時間で計算可能であることに着目し、スケーラビリティを実現する。
• サンプリング分布がラベルや特定の損失関数に依存しないため、複数の学習シナリオに再利用可能である。
• 理論的分析により、コアセットがロジスティック損失やハードマージン損失を含む「ハードマージンに類似した」損失関数のクラスに対して、$1\pm\epsilon$ の相対誤差を保つことが示された。

実験結果

リサーチクエスチョン

• RQ1 先行研究に比べ、より優れたサンプル複雑度を達成する相対誤差コアセットを、線形分類のために構築可能か？
• RQ2 $\ell_1$ レイウィズ重みをサンプリング分布として用いることで、一様サンプリングや $\ell_2$ レイウィズスコアサンプリングに比べ、理論的・実験的性能が向上するか？
• RQ3 コアセット構築法をラベルや損失関数に依存しない形にできるか？ これにより、アクティブラーニングやマルチタスク学習が可能になるか？
• RQ4 コアセットサイズが分類の複雑度測度 $\mu_y(X)$ にどのように依存するか？ その依存関係を改善可能か？
• RQ5 $\ell_1$ レイウィズ重みサンプリングの実験的性能は、多様なデータセットや損失関数においてどのように評価されるか？

主な発見

• 提案されたコアセットは、$(1\pm\epsilon)$ の相対誤差を $\tilde{O}(d \cdot \mu_y(X)^2 / \epsilon^2)$ 個のサンプルで達成し、[MSSW18] が提示した先行最良境界 $\tilde{O}(d^3 \cdot \mu_y(X)^3 / \epsilon^4)$ よりも改善されている。
• 実験結果から、KDD Cup '99 データセットにおいて $\ell_1$ レイウィズ重みサンプリングは一様サンプリングや $\ell_2$ レイウィズスコアサンプリングを上回っていることが示され、特にコアセットサイズが大きい場合に顕著である。
• KDD Cup '99（$\mu_y(X) = 35.18$）のように $\mu_y(X)$ が大きいデータセットでは、レイウィズ重みと他の手法との性能差が最も顕著に現れる。
• Covertype（$1.86$） や Webb Spam（$4.39$） のような $\mu_y(X)$ が小さいデータセットでは、レイウィズ重みサンプリングは $\ell_2$ レイウィズスコアと同等またはわずかに劣る性能を示す。
• 理論的分析により、$\ell_1$ レイウィズ重みが、正の引数に対して線形に増加し、負の引数に対しては飽和する性質を持つため、ハードマージンに類似した損失関数に対して自然な選択であることが確認された。
• サンプリング分布がラベルや損失関数に依存しないため、複数の学習目的やアクティブラーニングパイプラインに同一のコアセットを再利用可能である。