[論文レビュー] Qualitative Robustness of Support Vector Machines

Robert Hable, Andreas Christmann|arXiv (Cornell University)|Dec 4, 2009

Face and Expression Recognition参考文献 19被引用数 4

ひとこと要約

この論文は、弱収束における確率測度からSVM解への関数的写像の連続性を証明することで、サポートベクターマシン（SVMs）が定性的に安定であることを確立している。主な貢献は、SVMsがアダマールの意味で適切に定義された問題であることを示したことである。これにより、小さな分布的摂動に対しても解が安定することが保証される。

ABSTRACT

Support vector machines have attracted much attention in theoretical and in applied statistics. Main topics of recent interest are consistency, learning rates and robustness. In this article, it is shown that support vector machines are qualitatively robust. Since support vector machines can be represented by a functional on the set of all probability measures, qualitative robustness is proven by showing that this functional is continuous with respect to the topology generated by weak convergence of probability measures. Combined with the existence and uniqueness of support vector machines, our results show that support vector machines are the solutions of a well-posed mathematical problem in Hadamard's sense.

研究の動機と目的

• 非パラメトリック統計学習におけるサポートベクターマシンの定性的な安定性を確立すること。
• 非パラメトリック統計における既知の問題である、SVMsのデータ分布の小さな摂動に対する感受性を扱うこと。
• 関数解析と確率測度の弱収束を用いて、SVMsの安定性を形式化すること。
• SVMsがアダマールの意味で適切に定義された問題を解くことの証明により、安定性と信頼性を保証すること。

提案手法

• 入力空間X×Y上の確率測度から再生核ヒルベルト空間（RKHS）内の関数への写像SとしてSVM推定量を表現する。
• 関数値推定量に対する定性的安定性の一般化をキューヴァスのものに従う。
• 確率測度の弱収束に関して、関数的写像Sの連続性を証明する。
• 弱収束と緊密性を含む、関数解析および測度論の結果を適用する。
• SVMsの既存の一意性および一貫性に関する結果を基礎的仮定として用いる。
• ハンペルおよびキューヴァスの意味での安定性を定義するために、弱収束が誘導する位相に依存する。

実験結果

リサーチクエスチョン

• RQ1 SVM推定量は、元のデータ分布の小さな摂動に対して定性的に安定か？
• RQ2 経験的測度からSVM解への関数的写像は、弱収束の下でも連続的か？
• RQ3 SVMsはアダマールの意味で適切に定義された問題と見なせるか？ これにより安定性が保証されるか？
• RQ4 非パラメトリック設定における古典的ロバスト推定量と比較して、SVMsの定性的安定性はどのように異なるか？
• RQ5 どのような位相的条件が、分布的シフト下でのSVM解の安定性を保証するか？

主な発見

• SVMsは、確率測度からSVM解への関数的写像Sが弱収束に関して連続であるため、定性的に安定である。
• Sの連続性により、元の分布の小さな変化がSVM解に小さな変化をもたらすことが保証され、性能の急激な低下を防ぐ。
• SVM解の存在および一意性と組み合わせることで、SVMsがアダマールの意味で適切に定義された問題であることが示される。
• RKHSが可分でかつカーネルが可測である限り、入力空間X、出力空間Y、損失関数に対して一般な条件下でこの結果が成り立つ。
• この枠組みは、分類および回帰の両方におけるSVMに適用可能であり、非パラメトリック学習への安定性の拡張を可能にする。
• 無限次元関数空間における連続性を確立するために、緊密性および弱収束を含む測度論的道具を証明に用いる。