[論文レビュー] Perceptron Mistake Bounds

Mehryar Mohri, Afshin Rostamizadeh|arXiv (Cornell University)|May 1, 2013

Machine Learning and Algorithms参考文献 6被引用数 12

ひとこと要約

本稿では、マージン損失型の境界を超えて、任意の凸的かつリプシッツ連続な損失関数を扱えるように一般化した、パーセプトロンおよびカーネルパーセプトロンアルゴリズムの新しい誤り境界を提示する。オンラインからバッチへの変換を用いて、タイトな一般化保証を導出しており、主な結果として、誤りの数が任意の基準重みベクトルが負う損失およびデータの幾何的性質の関数として有界であることが示されている。

ABSTRACT

We present a brief survey of existing mistake bounds and introduce novel bounds for the Perceptron or the kernel Perceptron algorithm. Our novel bounds generalize beyond standard margin-loss type bounds, allow for any convex and Lipschitz loss function, and admit a very simple proof.

研究の動機と目的

• 既存のパーセプトロンアルゴリズムの誤り境界を、マージンに基づく損失にとどまらず、任意の凸的かつリプシッツ連続な損失関数にまで一般化すること。
• 線形およびカーネルパーセプトロンの両設定に適用可能な、単純で統一的な証明フレームワークを導出すること。
• オンライン誤り境界とオンラインからバッチへの変換技術を組み合わせることで、確率的設定における一般化境界を提供すること。
• 損失ベクトルに対するL1およびL2ノルムに基づく境界を導入することで、非分離可能なデータへの誤り境界の適用範囲を拡張すること。
• 特徴量ノルム項をカーネル行列のトレース項に置き換えることで、これらの境界をカーネルパーセプトロンに適応すること。

提案手法

• 凸的で非負、ゼロで正であり、かつγ-リプシッツ連続であるという性質を持つ新しい損失関数のクラス、γ-適応損失を導入する。
• テレスコピング和の議論とコーシー・シュワルツ不等式を用いて、L1ノルムの誤り境界を導出。この境界は、基準重みベクトル上の損失ベクトルのL1ノルムと関連づけられる。
• 損失ベクトルに関する二次式の最小化により、L2ノルムの誤り境界を確立。これは、損失ベクトルのL2ノルムとデータの更新ノルムを含む閉形式の境界となる。
• Cesa-Bianchiら（2004）の定理4.1を用いてオンラインからバッチへの変換を適用し、高確率で成り立つ一般化境界にオンライン誤り境界を変換する。
• 特徴量ノルム項をK(xₜ,xₜ)に、更新回数における√∑‖xₜ‖²を更新点集合上のKのトレースTr[K]に置き換えることで、境界をカーネルパーセプトロンに適応する。
• 最終仮説がすべての中間仮説の中でペナルティ付きリスクを最小化するものであるという事実を用い、一般化保証を可能にする。

実験結果

リサーチクエスチョン

• RQ1 パーセプトロンアルゴリズムの誤り境界は、マージンに基づく損失にとどまらず、任意の凸的かつリプシッツ連続な損失関数にまで一般化可能か？
• RQ2 データが線形的に分離可能でない場合、損失ベクトルのL1またはL2ノルムを用いて、パーセプトロンの誤り境界として最もタイトなものは何か？
• RQ3 確率的設定下で、オンライン誤り境界をどのようにして高確率での最終仮説の一般化境界に変換できるか？
• RQ4 誤り境界はカーネルパーセプトロン設定にどのように拡張可能か？また、境界における特徴量ノルム項は何かに置き換わるか？
• RQ5 得られた一般化境界は、ヒンジ損失や二乗ヒンジ損失といった一般的な損失関数に対し、明示的かつ解釈可能なものとなるか？

主な発見

• L1ノルムの誤り境界は、任意のu（‖u‖ ≤ 1）および任意のγ-適応損失φγに対して、M ≤ (1/φγ(0)) × (‖Lφγ(u)‖₁ + γ√∑‖xₜ‖²) で与えられる。
• L2ノルムの誤り境界は、任意のρ > 0および任意のu（‖u‖ ≤ 1）に対して、M ≤ (1/2) × (‖Lρ(u)‖₂ + √(‖Lρ(u)‖₂² + 4√∑‖xₜ‖² / ρ))² で与えられる。
• ゼロ-ワン損失の場合、経験的誤り率は損失ベクトルの平均によって有界であり、オンラインからバッチへの変換により一般化境界が得られる。
• 最終仮説 Ẇ の一般化境界は、高確率で Pr[y(Ẇ·x) < 0] ≤ inf_{ρ>0,‖u‖≤1} [ (‖Lρ(u)‖₂/2 + √(‖Lρ(u)‖₂²/4 + √∑‖xₜ‖² / ρ))² / T ] + 6√(log(2(T+1)/δ)/T) を満たす。
• カーネルパーセプトロン設定では、更新回数における√∑‖xₜ‖²の項が、更新点上のカーネル行列KのトレースTr[K]に置き換わる。これにより、再生核ヒルバート空間上での境界が可能になる。
• これらの境界はタイトであり、計算が簡単であり、マージンに基づく損失に限らず、任意の凸的かつリプシッツ連続な損失関数を許容する点で、既存の結果を一般化している。