[論文レビュー] Comment on "Support Vector Machines with Applications"

Trevor Hastie, Ji Zhu|arXiv (Cornell University)|Dec 28, 2006

Face and Expression Recognition参考文献 9被引用数 5

ひとこと要約

この論文は、サポートベクターマシン（SVMs）を統計的関数推定の観点から再解釈し、カーネル正則化が再生核ヒルベルト空間（RKHS）における一般化リッジペナルティに等価であることを示している。カーネル行列の有効次元は、無限次元の特徴空間であってもしばしばn未満であることが示され、SVMの性能の鍵はマージン最大化ではなく正則化であることが強調されている。SVMは、正則化ロジスティック回帰やその他の統計的手法と密接に関連している。

ABSTRACT

Comment on [math.ST/0612817]

研究の動機と目的

• 機械学習的視点からのSVMの再定式化を統計的関数推定フレームワークに移行すること。
• カーネル正則化が高次元特徴空間における一般化リッジペナルティに等価であることを明確にすること。
• マージン最大化に重きを置く一般的な見解に反し、SVMの成功の主因が正則化であることを示すこと。
• SVMが正則化ロジスティック回帰などの一般的な統計的手法と密接に関連していることを示すこと。
• データのカーネル行列の有効次元がしばしば標本サイズnよりもはるかに小さいことが強調されること。これは、完全分離が常に達成されない理由を説明する。

提案手法

• 凸損失関数とヒルベルト空間ノルムペナルティを用いた正則化関数推定問題としてSVMを定式化する。
• レプresenter定理を用いて、無限次元の最適化問題をカーネル行列に依存する有限次元問題に簡略化する。
• カーネル行列の固有分解を適用し、小さな固有値を持つ固有関数がより強くペナルティを受けることを示す。
• 特徴空間への射影に基づいて再パrameter化を行い、カーネル正則化が暗黙の特徴空間における標準的リッジ回帰に等価であることを明らかにする。
• 径路基底関数カーネルを用いたシミュレーションを通じて、固有値、固有ベクトル、および有効次元との関係を図示する。
• SVMのヒンジ損失と正則化ロジスティック回帰における二項デヴァイアンスを比較し、特定の条件下で分類境界が一致することを示す。

実験結果

リサーチクエスチョン

• RQ1 SVMにおけるカーネル正則化は、特徴空間における古典的リッジ回帰とどのように関係しているか？
• RQ2 無限次元のカーネルが使用されているにもかかわらず、なぜSVMで完全分離が常に達成されないのか？
• RQ3 マージン最大化と比較して、正則化がSVMの成功に果たす役割は何か？
• RQ4 SVMは、正則化ロジスティック回帰などの他の統計モデルと、根本的な原理においてどのように異なるか？
• RQ5 幾何的マージン最大化ではなく、関数推定の観点からSVMの性能を説明できるか？

主な発見

• SVMにおけるカーネル正則化は、固有関数の固有値が小さいほどペナルティが大きくなるという点で、再生核ヒルベルト空間（RKHS）における一般化リッジペナルティと数学的に等価である。
• 特徴空間が無限次元であっても、データのカーネル行列の有効次元はしばしば標本サイズnよりも著しく小さい。これは、訓練データが常に完全に分離されない理由を説明する。
• 最適な正則化パラメータλは、カーネルパラメータγに大きく依存し、γが大きい（スケールが小さい）場合には大きなλ、γが小さい（スケールが大きい）場合には小さなλが必要となる。これはλの選択に注意を要することを示している。
• SVMは正則化ロジスティック回帰などの他の統計的手法と本質的に異なるものではなく、両者とも損失関数＋ペナルティフレームワークを用いる。特定の条件下では、両者の分類境界は一致する。
• SVMで用いられるヒンジ損失はベイズ一貫性を示し、正則化ロジスティック回帰で用いられる二項デヴァイアンスに置き換えても性能に類似性が見られる。これは、損失関数の選択が正則化の効果ほど重要ではないことを示唆している。
• SVMの成功は主に正則化に起因する。マージン最大化ではなく、シミュレーションの証拠から、正則化が弱すぎる場合、高次元空間であっても過学習が生じることが示されている。