[論文レビュー] Learning from dependent observations

Ingo Steinwart, Don Hush+1 more|ArXiv.org|Jul 2, 2007

Machine Learning and Algorithms参考文献 35被引用数 4

ひとこと要約

本稿は、一般の依存性仮定の下でサポートベクターマシン（SVM）の一貫性を確立し、データ生成過程が大数の法則を満たす限り、SVMが一貫性を保つことを示している。主な貢献は、非定常的で$α$-混合（$α$-mixing）な過程において、事前に選択された正則化パラメータを用いたSVMの一致性を証明したことである。これは、非有界なノイズと入力空間のコンactness（コンパクト性）の要件がない状況でも成立する。

ABSTRACT

In most papers establishing consistency for learning algorithms it is assumed that the observations used for training are realizations of an i.i.d. process. In this paper we go far beyond this classical framework by showing that support vector machines (SVMs) essentially only require that the data-generating process satisfies a certain law of large numbers. We then consider the learnability of SVMs for $\a$-mixing (not necessarily stationary) processes for both classification and regression, where for the latter we explicitly allow unbounded noise.

研究の動機と目的

• 現実の時系列データや異質なデータではしばしば破られるi.i.d.仮定を超えてSVMの理論的裏付けを拡張すること。
• 依存性が多項式的に減少する非定常的で$α$-混合な過程におけるSVMの一貫性を確立すること。
• 入力空間が非コンパクトであっても、ノイズが非有界であってもSVMが一貫性を保つことを示すこと。
• 未知の過程の性質に基づく適応的チューニングを避けるために、$α$-混合過程において正則化列を事前に選択できることを示すこと。
• 大数の法則を用いて、非i.i.d.過程における意味のあるリスク関数と極限分布を定義すること。

提案手法

• 本稿は、非定常な確率過程に対して一般化された大数の法則（LLN）フレームワークを導入し、極限分布と対応するリスク関数の定義を可能にした。
• LLNを満たす過程に対して、極限分布に基づく学習アルゴリズムの一貫性を定義した。
• 主な分析では、カーネル法とレプレゼンター定理を用いて、SVMの解を再生核ヒルベルト空間（RKHS）内で表現し、正則化パラメータ$\lambda_n$が経験的リスクと滑らかさのトレードオフを制御することを示した。
• 証明は、モーメント不等式と混合係数、特に$α$-混合率を用いて、真のリスクと経験的リスクの差を抑え込むことに依存している。
• 依存性下での経験的平均が真の平均からどれほど逸脱するかを制御するために、モーメントバウンドと指数的尾部不等式を適用した。
• 非有界ノイズへの拡張は、$L_p$-型損失関数を用い、解のノルムの成長を$\lambda_n$に依存するバウンドで制御することで行われた。

実験結果

リサーチクエスチョン

• RQ1 訓練データがi.i.d.でないが、弱い依存性を持つ非定常過程に従う場合、SVMは一貫性を保つことができるか？
• RQ2 依存性下で一貫性のあるSVM学習を達成するために、過程の性質を事前に知らない状態で正則化パラメータ$\lambda_n$を事前に選択することは可能か？
• RQ3 入力空間$X$のコンパクト性仮定は、依存データにおけるSVMの一貫性にとって依然として必要か？
• RQ4 依存性下で回帰のノイズが非有界であっても、SVMは一貫性を達成できるか？
• RQ5 依存構造（例：$α$-混合）にどのような条件が、経験的リスクが期待値において真のリスクに収束することを保証するか？

主な発見

• SVMは、一般化された大数の法則を満たす任意のデータ生成過程に対して一貫性を示す。これは、非定常的かつ依存的な過程に対しても成立する。
• $α$-混合過程で混合係数が多項式的に減少する場合、一貫性を保証する正則化列$\lambda_n$を事前に選択できる。
• ガウスカーネルを用いる場合、入力空間$X$のコンパクト性仮定はSVMの一貫性にとって不要である。
• 本稿は、非有界ノイズを伴う回帰におけるSVMの一貫性を確立した。これは、従来の結果が有界ノイズを仮定していたのを拡張したものである。
• 経験的リスクから真のリスクへの収束速度は、混合率と$\lambda_n$の選択に依存し、偏差確率は$O(\lambda_n^{-2p} n^{-\beta})$（$\beta > 0$）の速度で減少する。
• 本分析は、時系列、音声認識、システム診断などの非i.i.d.設定におけるSVMの経験的成功の理論的基盤を提供する。