[論文レビュー] Learning Kernel-Based Halfspaces with the Zero-One Loss

Shai Shalev‐Shwartz, Ohad Shamir+1 more|arXiv (Cornell University)|May 20, 2010

Machine Learning and Algorithms参考文献 18被引用数 4

ひとこと要約

この論文は、非凸なゼロ-ワン損失を用いたカーネルに基づくハーフスペースのアグノスティックな学習のための新規アルゴリズムを提示し、有限サンプルおよび有限時間の保証を達成している。アルゴリズムの実行時間は poly(exp(L log(L/ε))) であり、最適なハーフスペースからの誤差が ε 以内の分類器を返す。また、暗号的仮定の下で、多項式時間アルゴリズムが存在しないことを示す同等の下界結果も提示している。

ABSTRACT

We describe and analyze a new algorithm for agnostically learning kernel-based halfspaces with respect to the \emph{zero-one} loss function. Unlike most previous formulations which rely on surrogate convex loss functions (e.g. hinge-loss in SVM and log-loss in logistic regression), we provide finite time/sample guarantees with respect to the more natural zero-one loss function. The proposed algorithm can learn kernel-based halfspaces in worst-case time $\poly(\exp(L\log(L/ε)))$, for $\emph{any}$ distribution, where $L$ is a Lipschitz constant (which can be thought of as the reciprocal of the margin), and the learned classifier is worse than the optimal halfspace by at most $ε$. We also prove a hardness result, showing that under a certain cryptographic assumption, no algorithm can learn kernel-based halfspaces in time polynomial in $L$.

研究の動機と目的

• ゼロ-ワン損失関数を用いてカーネルに基づくハーフスペースを学習する際、有限サンプルおよび有限時間の保証が欠落している問題に対処すること。
• ハーフスパシティやロジスティック損失のような凸な代理損失ではなく、より自然なゼロ-ワン損失に基づいて、低い一般化誤差を達成する不正な学習アルゴリズムを開発すること。
• 入力次元ではなく、転送関数のリプシッツ定数 L に依存する、理論的実行時間およびサンプル複雑度の境界を提供すること。
• 暗号的仮定の下で、同様の保証を達成する多項式時間アルゴリズムが存在しないことを示す計算的下界結果を確立すること。

提案手法

• 再生核ヒルベルト空間（RKHS）における特別に構築されたカーネル関数上での絶対誤差を用いた線形回帰に基づく学習アルゴリズムを提案する。
• 非連続なゼロ-ワン関数を近似するため、リプシッツ連続関数族（例：シグモイド、誤差関数、区分的線形関数）を用いる。
• 仮説クラスを h(x) = φ(⟨w, x⟩) の形の分類器として定義し、φ はゼロ-ワンステップ関数を近似する L-リプシッツ関数である。
• 転送関数の多項式近似の係数を制限するパラメータ B を導入し、実行時間の制御を可能にする。
• 転送関数の有限個の多項式近似の上での経験的リスク最小化を適用し、有限実行時間を保証する。
• 最適なハーフスペースが訓練例の線形結合として表現可能であることに着目し、係数が有界な組み合わせの探索を可能にする。

実験結果

リサーチクエスチョン

• RQ1 ゼロ-ワン損失関数の下で、カーネルに基づくハーフスペースの学習に対して、有限サンプルおよび有限時間の保証を達成できるか？
• RQ2 凸な代理損失に依存せずに、ゼロ-ワン損失に基づいて良好な性能を発揮するアルゴリズムを設計することは可能か？
• RQ3 ゼロ-ワン損失の下で、カーネルに基づくハーフスペースを学習する計算複雑度は何か？また、リプシッツ定数 L に指数的依存するという点で、それを改善できるか？
• RQ4 どのような条件下で、ゼロ-ワン損失に基づくカーネルに基づくハーフスペースの学習が計算的に困難となるか？
• RQ5 ある有界係数族 P_B に属するすべての転送関数に対して、同時に良好な性能を発揮する1つのアルゴリズムを設計できるか？

主な発見

• 提案されたアルゴリズムは、有限個のサンプルを用いて、確率 1−δ 以上で最適なハーフスペースからの誤差が ε 以内の誤差率を達成する。
• アルゴリズムの実行時間は poly(exp(L log(L/ε))) であり、L は転送関数のリプシッツ定数である。これにより、有限時間の保証が得られる。
• 計算的下界結果として、ある暗号的仮定の下で、カーネルに基づくハーフスペースを L の多項式時間で学習するアルゴリズムは存在しないことが示された。
• アルゴリズムの実行時間はパラメータ B に依存するが、最悪ケースでは poly(exp(Õ(1/μ))) であるが、交差検証により実際にははるかに小さくなる可能性がある。
• アルゴリズムは、有界係数族 P_B に属するすべての転送関数に対して同時に競争力を持ち、暗黙的かつ最適な転送関数を学習している。
• 従来の全探索的手法（poly(exp(Õ(1/μ²))) の時間が必要）に比べ、指数部を 1/μ² から 1/μ に低減することで、より優れた実行時間複雑度を達成している。