[論文レビュー] On the primal-dual dynamics of Support Vector Machines

Krishna Chaitanya Kosaraju, Shravan Mohan+1 more|arXiv (Cornell University)|May 2, 2018

Control and Stability of Dynamical Systems参考文献 14被引用数 5

ひとこと要約

本稿では、線形サポートベクターマシン（SVM）の原双対勾配ダイナミクスを連続時間動的システムとして定式化し、受動性理論とハイブリッドシステム解析を用いて、グローバル漸近安定性を証明する。初期条件に依存せずに、最適SVM解に収束する。シミュレーションにより収束が確認され、非ゼロのラグランジュ乗数を介してサポートベクタが特定される。

ABSTRACT

The aim of this paper is to study the convergence of the primal-dual dynamics pertaining to Support Vector Machines (SVM). The optimization routine, used for determining an SVM for classification, is first formulated as a dynamical system. The dynamical system is constructed such that its equilibrium point is the solution to the SVM optimization problem. It is then shown, using passivity theory, that the dynamical system is global asymptotically stable. In other words, the dynamical system converges onto the optimal solution asymptotically, irrespective of the initial condition. Simulations and computations are provided for corroboration.

研究の動機と目的

• SVM最適化問題を、その均衡が最適解に対応する連続時間原双対動的システムとしてモデル化すること。
• 均衡点の明示的知識なしに、受動性理論とラプラウン分析を用いて、動的システムのグローバル漸近安定性を確立すること。
• 収束、ロバストネス、分散計算に関する理解のためのシステム理論的フレームワークを提供すること。
• 将来の拡張の基盤を築くこと。特に、確率的勾配降下法やポート・ハミルトニアン構造を用いたロバスト制御合成を想定する。

提案手法

• 等式制約および不等式制約を伴う凸最適化問題として線形SVMを定式化する。
• ラグランジュ双対定式を導出し、原変数（重みベクトルβ、バイアスβ₀）と双対変数（ラグランジュ乗数μᵢ）を含む鞍点問題に帰着する。
• ラグランジュ関数を原変数に関して最小化し、双対変数に関して最大化する連続時間原双対勾配ダイナミクスを構築する。
• 不等式制約を状態依存スイッチングシステムとしてモデル化し、ハイブリッドシステム解析を可能にする。
• 複数のストレージ関数を用いた受動性理論を適用し、均衡点のグローバル漸近安定性を証明する。
• ポート変数とインターコネクト法則を用いて、ロバストネスと制御合成の拡張を可能にする。

実験結果

リサーチクエスチョン

• RQ1 SVMの原双対勾配ダイナミクスは、受動的かつグローバルに漸近安定な動的システムとしてモデル化可能か？
• RQ2 不等式制約が活性化する場合、システムの挙動はどのように変化するか。安定性解析ではどのように捉えられるか？
• RQ3 ラグランジュ乗数はサポートベクタの同定にどのような役割を果たすか。時間経過とともにどのように変化するか？
• RQ4 原動的システムと双対動的システムのインターコネクトは、受動性理論とハイブリッドシステム理論を用いて解析可能であり、収束を保証できるか？
• RQ5 このフレームワークは、勾配法の確率的またはロバストな変種へどのように拡張可能か？

主な発見

• 受動性理論とラプラウン安定性解析により、任意の初期条件下でも原双対ダイナミクスが最適SVM解にグローバルかつ漸近的に収束することが証明された。
• 均衡点において、非ゼロとなるラグランジュ乗数は3つ（μ₈₁, μ₂₀₈, μ₅₇₇）に限られ、これらは最適分離超平面を定義する3つのサポートベクタに対応する。
• 閉ループストレージ関数の進化には、不等式制約が実行可能になる際に不連続性が生じており、ハイブリッドシステムモデルと複数のストレージ関数と整合的である。
• 最適重みベクトルβ*は、サポートベクタのみに依存する：β* = μ₈₁*x₈₁ + μ₂₀₈*x₂₀₈ - μ₅₇₇*x₅₇₇。
• シミュレーションにより、βおよびβ₀が最適値に収束し、サポートベクタ以外のすべてのラグランジュ乗数μᵢがゼロに収束することが確認された。
• 本フレームワークにより、数値誤差下でのロバストネス解析や、入出力分散性およびポート変数を用いた確率的勾配降下法への拡張が可能となる。