[论文解读] Comment on "Support Vector Machines with Applications"

Trevor Hastie, Ji Zhu|arXiv (Cornell University)|Dec 28, 2006

Face and Expression Recognition参考文献 9被引用 5

一句话总结

本文從統計函數估計的觀點重新詮釋支援向量機（SVMs），顯示核函數正則化等價於再生核希爾伯特空間（RKHS）中的廣義ridge懲罰。本文證明，即使特徵空間為無限維，核矩陣的有效維度通常也小於n，並強調正則化而非邊際最大化才是SVM性能的關鍵，將SVM與懲罰式邏輯回歸及其他統計工具緊密連結。

ABSTRACT

Comment on [math.ST/0612817]

研究动机与目标

• 將SVM從機器學習觀點重新框架化為統計函數估計框架。
• 釐清核正則化在高維特徵空間中等價於廣義ridge懲罰。
• 挑戰既有的邊際最大化觀點，顯示正則化才是SVM成功的主要驅動因素。
• 證明SVM與懲罰式邏輯回歸等熟悉統計工具密切相關。
• 強調核矩陣的有效維度通常遠小於樣本大小，解釋為何有時無法達成完美分離。

提出的方法

• 將SVM公式化為帶有凸損失與希爾伯特空間範數懲罰的正則化函數估計問題。
• 利用重現核希爾伯特空間定理，將無限維優化問題簡化為涉及核矩陣的有限維問題。
• 應用核矩陣的特徵分解，顯示小特徵值對應的特徵函數會受到更嚴重的懲罰。
• 以特徵空間投影重新參數化問題，揭示核正則化等價於隱含特徵空間中的標準ridge回歸。
• 使用徑向基函數核的模擬，說明特徵值、特徵向量與有效維度之間的關係。
• 比較SVM中的hinge損失與懲罰式邏輯回歸中的二項deviance，顯示在特定條件下分類邊界具有等價性。

实验结果

研究问题

• RQ1 SVM中的核正則化與特徵空間中經典ridge回歸有何關係？
• RQ2 即使使用無限維核函數，SVM為何有時無法達成完美分離？
• RQ3 與邊際最大化相比，正則化在SVM成功中扮演何種角色？
• RQ4 SVM與懲罰式邏輯回歸等其他統計模型在基本原理上如何比較？
• RQ5 SVM的表現能否透過函數估計而非幾何邊際最大化的觀點來解釋？

主要发现

• SVM中的核正則化在數學上等價於再生核希爾伯特空間中的廣義ridge懲罰，其中小特徵值對應的特徵函數會受到更嚴重懲罰。
• 即使特徵空間為無限維，資料核矩陣的有效維度通常顯著小於樣本大小n，解釋了為何訓練資料有時無法完美分離。
• 最佳正則化參數λ隨核參數γ大幅變動：γ較大（尺度較小）時需較大的λ，γ較小（尺度較大）時需較小的λ，突顯λ選擇的重要性。
• SVM與懲罰式邏輯回歸等統計工具並無本質差異；兩者皆採用損失+懲罰架構，且在特定條件下分類邊界會重合。
• SVM所使用的hinge損失具有貝葉斯一致性，若以懲罰式邏輯回歸中的二項deviance取代，性能相近，顯示損失函數選擇的重要性低於正則化。
• SVM的成功主要來自正則化，而非邊際最大化——模擬結果顯示，即使在高維空間，正則化過低仍會導致過度擬合。