[논문 리뷰] On the primal-dual dynamics of Support Vector Machines

Krishna Chaitanya Kosaraju, Shravan Mohan외 1명|arXiv (Cornell University)|2018. 05. 02.

Control and Stability of Dynamical Systems참고 문헌 14인용 수 5

한 줄 요약

이 논문은 선형 서포트 벡터 머신(SVM)의 원본-이중 그래디언트 역학을 연속시간 동역학계로 공식화하고, 피아스티비티 이론과 하이브리드 시스템 분석을 사용하여 전역 점근적 안정성을 증명한다. 초기 조건에 관계없이 동역학은 최적의 SVM 해에 수렴하며, 시뮬레이션을 통해 수렴성과 비제로 라그랑주 승수를 통한 서포트 벡터 식별이 확인된다.

ABSTRACT

The aim of this paper is to study the convergence of the primal-dual dynamics pertaining to Support Vector Machines (SVM). The optimization routine, used for determining an SVM for classification, is first formulated as a dynamical system. The dynamical system is constructed such that its equilibrium point is the solution to the SVM optimization problem. It is then shown, using passivity theory, that the dynamical system is global asymptotically stable. In other words, the dynamical system converges onto the optimal solution asymptotically, irrespective of the initial condition. Simulations and computations are provided for corroboration.

연구 동기 및 목표

• 최적화 문제를 연속시간 원본-이중 동역학계로 모델링하여 평형점이 최적 해와 일치하도록 한다.
• 평형점의 명시적 지식 없이도 피아스티비티 이론과 라플라스 분석을 사용하여 동역학계의 전역 점근적 안정성을 확립한다.
• 수렴성, 내구성, 분산 계산에 대한 이해를 위한 시스템 이론적 프레임워크를 제공한다.
• 향후 확장의 기초를 마련하며, 포트-해밀토니안 구조를 활용한 확률적 그래디언트 하강법 및 강건 제어 합성 기법을 포함한다.

제안 방법

• 등차 및 부등차 제약 조건을 가진 볼록 최적화 문제로 선형 SVM을 공식화한다.
• 라그랑주 이중형식을 유도하여 원본(가중치 벡터 β, 편향 β₀)과 이중(라그랑주 승수 μᵢ) 변수를 포함하는 안장점 문제로 이어진다.
• 원본 변수에 대해 라그랑주 함수를 최소화하고 이중 변수에 대해 최대화하는 연속시간 원본-이중 그래디언트 역학을 구성한다.
• 부등차 제약 조건을 상태에 의존하는 스위칭 시스템으로 모델링하여 하이브리드 시스템 분석이 가능하도록 한다.
• 다중 저장 함수를 사용한 피아스티비티 이론을 적용하여 평형점의 전역 점근적 안정성을 증명한다.
• 포트 변수와 상호연결 법칙을 사용하여 내구성 및 제어 합성 확장을 가능하게 한다.

실험 결과

연구 질문

• RQ1 SVM의 원본-이중 그래디언트 역학은 피아스티비티를 가지며 전역 점근적 안정성을 갖는 동역학계로 모델링될 수 있는가?
• RQ2 부등차 제약 조건이 활성화될 경우 시스템 행동은 어떻게 변화하며, 이는 안정성 분석에서 어떻게 반영되는가?
• RQ3 라그랑주 승수는 서포트 벡터를 식별하는 데 어떤 역할을 하는가? 시간이 지남에 따라 어떻게 변화하는가?
• RQ4 원본 및 이중 역학의 상호연결은 피아스티비티 이론과 하이브리드 시스템 이론을 사용하여 분석되어 수렴성을 보장할 수 있는가?
• RQ5 이 프레임워크는 확률적 또는 강건한 그래디언트 방법 변형으로 어떻게 확장될 수 있는가?

주요 결과

• 피아스티비티 이론과 라플라스 안정성 분석을 통해, 초기 조건에 관계없이 원본-이중 역학이 최적의 SVM 해로 전역적으로 점근적으로 수렴함을 증명하였다.
• 평형 상태에서 비제로인 라그랑주 승수는 세 개뿐이며, μ₈₁, μ₂₀₈, μ₅₇₇로, 이는 최적의 분리 초평면을 정의하는 세 개의 서포트 벡터에 해당한다.
• 폐쇄형 저장 함수의 진동은 부등차 제약 조건이 타당해질 때 갑작스럽게 변화하며, 이는 하이브리드 시스템 모델과 다중 저장 함수와 일관된다.
• 최적의 가중치 벡터 β*는 서포트 벡터에 의해 유일하게 결정된다: β* = μ₈₁*x₈₁ + μ₂₀₈*x₂₀₈ - μ₅₇₇*x₅₇₇.
• 시뮬레이션 결과, β와 β₀가 최적 값으로 수렴하고, 서포트 벡터 이외의 모든 라그랑주 승수 μᵢ는 0으로 수렴함을 확인하였다.
• 이 프레임워크는 입력/출력 소산성과 포트 변수를 활용하여 수치 오차에 대한 강건성 분석 및 확률적 그래디언트 하강법으로의 확장이 가능하다.