[논문 리뷰] A Theory of the Risk for Optimization with Relaxation and its Application to Support Vector Machines

Marco C. Campi, Simone Garatti|arXiv (Cornell University)|2020. 04. 13.

Machine Learning and Data Classification인용 수 7

한 줄 요약

이 논문은 허용을 통한 최적화에서 약속 위반의 위험을 정량화하기 위한 이론적 프레임워크를 개발하며, 위험과 데이터 기반 복잡도 사이의 직접적인 연관성을 확립한다. 이 이론을 지지 벡터 기반 기계 학습 알고리즘인 지지 벡터 기반 분류기(SVM), 지지 벡터 회귀기(SVR), 지지 벡터 데이터 밀도 추정기(SVDD)에 적용하여, 데이터가 증가함에 따라 표본 외 위험은 복잡도와 표본 크기의 비율로 수렴함을 증명하며, 분포 가정 없이도 유한 표본 보장을 제공한다.

ABSTRACT

In this paper we consider optimization with relaxation, an ample paradigm to make data-driven designs. This approach was previously considered by the same authors of this work in Garatti and Campi (2019), a study that revealed a deep-seated connection between two concepts: risk (probability of not satisfying a new, out-of-sample, constraint) and complexity (according to a definition introduced in paper Garatti and Campi (2019)). This connection was shown to have profound implications in applications because it implied that the risk can be estimated from the complexity, a quantity that can be measured from the data without any knowledge of the data-generation mechanism. In the present work we establish new results. First, we expand the scope of Garatti and Campi (2019) so as to embrace a more general setup that covers various algorithms in machine learning. Then, we study classical support vector methods - including SVM (Support Vector Machine), SVR (Support Vector Regression) and SVDD (Support Vector Data Description) - and derive new results for the ability of these methods to generalize. All results are valid for any finite size of the data set. When the sample size tends to infinity, we establish the unprecedented result that the risk approaches the ratio between the complexity and the cardinality of the data sample, regardless of the value of the complexity.

연구 동기 및 목표

• 허용을 통한 최적화에서 위험 정량화의 일반 이론을 수립하여 다양한 기계 학습 알고리즘에 적용 가능하도록 하는 것.
• 데이터 생성 분포에 대한 지식이 없이도 데이터 기반 복잡도와 표본 외 위험 사이의 격차를 메우는 것.
• 기본 지지 벡터 방법(SVM, SVR, SVDD)에 대해 날카롭고 유한 표본 위험 경계를 도출하는 것.
• 표본 크기가 무한히 증가할 때 위험이 복잡도 대 표본 크기의 비율로 점점 수렴함을 보여주는 것, 이는 복잡도 값에 관계없이 동일하게 성립함.

제안 방법

• 저자들은 이전의 복잡도 기반 위험 정량화 연구를 더 넓은 범위의 허용을 포함하는 최적화 문제에 확장하며, 비용 함수와 슬랙 변수 $\xi_i$를 통해 처벌되는 부드러운 약속으로 정의된 문제에 적용한다.
• 그들은 제약 조건의 구조를 수량화하는 데이터에 의존하는 복잡도 개념을 바탕으로 한 새로운 이론적 프레임워크를 제안한다. 이 복잡도는 표본 내에서의 임계 제약 조건의 수를 측정한다.
• 이 방법은 랜덤 샘플링 하에서 해의 행동을 확률론적으로 분석하며, 위험 경계를 유도하기 위해 최적화 프로그램의 '가열된' 버전을 사용한다.
• 핵심 기법은 최악의 경우 위험을 분석하기 위해 고정된 파라미터(예: $w=0, b=-1$)를 가진 기준 프로그램을 구성하는 것으로, 유효성을 확보하기 위해 비누적적 가정을 활용한다.
• 이론적 결과는 위험에 대한 분위수 기반 신뢰구간 $I(s^*)$ 를 사용하여 유도되며, 여기서 $s^*$ 는 학습 세트에서 만족된 제약 조건의 수이다.
• 증명 기법은 원래 문제의 단순화된, 탈구조화된 버전에 주요 정리(정리 1)를 적용하여 오분류 확률을 경계하는 데 사용된다.

실험 결과

연구 질문

• RQ1 기본 데이터 분포에 대한 지식 없이도 허용을 통한 최적화에서의 위험을 어떻게 정량화할 수 있는가?
• RQ2 제약 조건 집합의 복잡도와 해의 표본 외 위험 사이의 관계는 무엇인가?
• RQ3 오직 데이터에 의존하는 복잡도만을 사용하여 지지 벡터 기반 기계 학습 알고리즘(SVM, SVR, SVDD)에 대해 날카롭고 유한 표본 위험 경계를 도출할 수 있는가?
• RQ4 표본 크기가 무한히 증가할 때 위험은 어떻게 변화하며, 일관된 표현으로 수렴하는가?

주요 결과

• 허용을 통한 최적화로 도출된 해에 대해 제약 위반의 위험은 표본 크기가 무한히 증가함에 따라 복잡도 대 표본 크기의 비율로 수렴하며, 이는 복잡도 값에 관계없이 동일하게 성립한다.
• 데이터에 의존하는 복잡도 측정치와 표본 크기만으로도 위험을 경계할 수 있으며, 데이터 생성 분포에 대한 지식이 필요로 하지 않는다.
• SVM의 경우 이론적으로 새로운 표본 외 점을 잘못 분류할 확률이 $\beta$ 이하로 경계됨을 증명하며, 여기서 $\beta$ 는 복잡도와 표본 크기에 따라 달라진다.
• 이 경계는 날카롭고 모든 유한 표본 크기에서 유효하므로, 제한된 데이터를 가진 실제 기계 학습 시나리오에 적용 가능하다.
• 이 방법은 SVM, SVR, SVDD에 동일하게 적용되며, 널리 사용되는 이 알고리즘들에 대한 통합 이론적 프레임워크를 보여준다.
• 분석 결과, 특히 $w^*=0$ 와 같은 탈구조화된 경우에도 이론적 위험 경계가 유효하고 유의미하다는 것이 드러났다.