[논문 리뷰] Robustness and Regularization of Support Vector Machines

Huan Xu, Constantine Caramanis외 1명|arXiv (Cornell University)|2008. 03. 25.

Sparse and Compressive Sensing Techniques참고 문헌 46인용 수 309

한 줄 요약

이 논문은 비박형 불확실성 집합 하에서 정규화된 서포트 벡터 머신(SVM)과 강건 최적화 공식 간의 정확한 등가성을 확립하며, 정규화가 적대적 입력 변형에 대한 강건성을 내재적으로 제공함을 보여준다. 주요 기여는 SVM 일반화에 대한 새로운 이론적 근거 제시: 국소적 데이터 교란에 대한 강건성이 정규화된 SVM의 우수한 일반화 성능을 설명하며, VC-차원이나 안정성 논증에 의존하지 않는 일致성 증명을 가능하게 한다.

ABSTRACT

We consider regularized support vector machines (SVMs) and show that they are precisely equivalent to a new robust optimization formulation. We show that this equivalence of robust optimization and regularization has implications for both algorithms, and analysis. In terms of algorithms, the equivalence suggests more general SVM-like algorithms for classification that explicitly build in protection to noise, and at the same time control overfitting. On the analysis front, the equivalence of robustness and regularization, provides a robust optimization interpretation for the success of regularized SVMs. We use the this new robustness interpretation of SVMs to give a new proof of consistency of (kernelized) SVMs, thus establishing robustness as the reason regularized SVMs generalize well.

연구 동기 및 목표

• 비.i.i.d. 데이터 교란 하에서 SVM의 정규화와 강건 최적화 간의 공식적 연결을 수립하기 위해.
• 정규화된 SVM의 일반화 성능을 복잡성 제어가 아닌 적대적 변형에 대한 강건성으로 재해석함으로써 새로운 이론적 설명을 제공하기 위해.
• 이전의 강건 공식보다 덜 보수적인 경계를 제공하는 강건 분류 프레임워크를 개발하기 위해, 특히 확률적 제약 조건과 베이지안 설정에서.
• i.i.d. 학습 설정에서 표준 SVM의 일치성 증명을 위해 국소적 교란에 대한 강건성이 충분함을 보여주기 위해.
• 교차 검증 없이도 원칙적인 정규화 매개변수 선택을 가능하게 하기 위해 베이지안 해석을 활용하기 위해.

제안 방법

• 각 샘플의 상한 상자 제약이 아닌, 샘플 간의 집합 노름으로 제약되는 적대적 변형이 있는 강건 최적화 문제를 설정한다.
• 기존 정규화된 SVM의 이중 최적화와 동일한 결과를 도출함으로써, 강건 최적화 문제와 정규화된 SVM 공식 간의 등가성을 입증한다.
• 재생 핵 힐버트 공간(RKHS) 이론을 활용해 RBF 커널에 대해 입력 공간의 강건성과 특징 공간의 강건성을 연결한다.
• RBF와 같은 이동 불변 커널의 경우, 입력 공간에서 크기 c의 변형에 대한 강건성은 특징 벡터의 변형에 대해 √(2f(0)−2f(c)) 비례의 노름 제약 조건으로 특징 공간에서의 강건성과 대응됨을 증명한다.
• 확률적 제약 조건과 베이지안 분류에 강건성 프레임워크를 적용하여, 이전의 강건 방법보다 훨씬 덜 보수적인 경계를 도출하고, 원칙적인 정규화 매개변수 선택을 가능하게 한다.
• 강건성 관점에서 VC-차원이나 안정성 기반 논증에 의존하지 않고, 커널화된 SVM의 일치성 증명을 가능하게 한다.

실험 결과

연구 질문

• RQ1 비박형 불확실성 집합 하에서 정규화된 SVM과 강건 최적화 공식 간에 공식적 등가성이 존재하는가?
• RQ2 정규화된 SVM의 일반화 성능은 복잡성 제어 외에 적대적 입력 변형에 대한 강건성으로 설명될 수 있는가?
• RQ3 SVM의 강건성은 확률적 공식, 예를 들어 확률적 제약 조건 또는 베이지안 분류기와 어떻게 관련이 있는가?
• RQ4 강건성 해석을 통해 VC-차원이나 안정성 논증에 의존하지 않고도 표준 SVM의 일치성을 증명할 수 있는가?
• RQ5 강건 공식화가 교차 검증 없이도 원칙적인 정규화 매개변수 선택을 가능하게 할 수 있는가?

주요 결과

• 정규화된 SVM은 집합 노름으로 제약되는 비박형 불확실성 집합 클래스 하에서 강건 최적화 공식과 수학적으로 등가이다.
• 등가성은 새로운 해석을 제공한다: SVM에서의 정규화는 적대적 입력 변형에 대한 내재적 보호를 의미하며, 이는 일반화 능력의 이유를 설명한다.
• RBF 커널의 경우, 입력 공간에서 크기 c의 변형에 대한 강건성은 특징 벡터의 변형에 대해 √(2f(0)−2f(c)) 비례의 노름 제약 조건으로 특징 공간에서의 강건성과 대응된다.
• 강건 공식화는 이전의 강건 방법보다 훨씬 덜 보수적인 방식으로 확률적 제약 조건 분류기를 근사한다.
• 강건성 프레임워크를 통해 VC-차원이나 안정성 논증에 의존하지 않고 커널화된 SVM의 일치성 증명이 가능해지며, 일반화는 국소적 교란에 대한 강건성에 기반한다.
• 강건 공식화의 베이지안 해석을 통해 교차 검증 없이도 원칙적이고 데이터 기반의 정규화 매개변수 선택이 가능해진다.