[論文レビュー] A Theory of the Risk for Optimization with Relaxation and its Application to Support Vector Machines

Marco C. Campi, Simone Garatti|arXiv (Cornell University)|Apr 13, 2020

Machine Learning and Data Classification被引用数 7

ひとこと要約

この論文は、緩和を伴う最適化における制約違反のリスクを定量化する理論的枠組みを構築し、リスクとデータ駆動型複雑度の直接的な関係を確立する。この理論をサポートベクターマシン（SVM）、SVR、SVDDに適用し、標本が増加する際、オフ・サンプルのリスクが複雑度と標本サイズの比に収束することを証明する。分布の仮定を必要としない有限標本保証を提供する。

ABSTRACT

In this paper we consider optimization with relaxation, an ample paradigm to make data-driven designs. This approach was previously considered by the same authors of this work in Garatti and Campi (2019), a study that revealed a deep-seated connection between two concepts: risk (probability of not satisfying a new, out-of-sample, constraint) and complexity (according to a definition introduced in paper Garatti and Campi (2019)). This connection was shown to have profound implications in applications because it implied that the risk can be estimated from the complexity, a quantity that can be measured from the data without any knowledge of the data-generation mechanism. In the present work we establish new results. First, we expand the scope of Garatti and Campi (2019) so as to embrace a more general setup that covers various algorithms in machine learning. Then, we study classical support vector methods - including SVM (Support Vector Machine), SVR (Support Vector Regression) and SVDD (Support Vector Data Description) - and derive new results for the ability of these methods to generalize. All results are valid for any finite size of the data set. When the sample size tends to infinity, we establish the unprecedented result that the risk approaches the ratio between the complexity and the cardinality of the data sample, regardless of the value of the complexity.

研究の動機と目的

• 緩和を伴う最適化におけるリスク定量化の一般理論を確立し、多様な機械学習アルゴリズムに適用可能であることを目的とする。
• データ生成分布の知識を必要とせずに、データ駆動型複雑度とオフ・サンプルのリスクの間のギャップを埋めることを目的とする。
• SVM、SVR、SVDDを含む古典的なサポートベクターメソッドについて、タイトで有限標本のリスクバインディングを導出することを目的とする。
• リスクが複雑度と標本サイズの比に漸近的に収束することを示すこと。この収束は、複雑度の値に依存しない。

提案手法

• 著者らは、コスト関数とスラック変数 $\xi_i$ を用いてペナルティが課されるソフト制約を特徴とする、より広範な最適化問題のクラスに、先行研究の複雑度に基づくリスク定量化を拡張する。
• 制約構造のデータ依存的測度としての「複雑度」の概念に基づく、独創的な理論的枠組みを導入する。この複雑度は、標本内の臨界制約の数を定量化する。
• ランダムサンプリング下での解の挙動の確率的分析に依存し、リスクバインディングを導出するために最適化プログラムの「加熱」版を用いる。
• 主な技術の一つとして、最悪ケースのリスクを分析するために、固定パラメータ（例：$w=0, b=-1$）を用いた参照プログラムを構築する。非蓄積性仮定を活用して有効性を保証する。
• リスクの定量的信頼区間 $I(s^*)$ を用いた理論的結果を導出する。ここで $s^*$ は訓練セット内で満たされた制約の数である。
• 証明技法として、元の問題の簡略化・退化したバージョンに主定理（定理1）を適用し、誤分類の確率をバインドする。

実験結果

リサーチクエスチョン

• RQ1 データ生成分布の知識を仮定せずに、緩和を伴う最適化におけるリスクをどのように定量化できるか？
• RQ2 制約集合の複雑度と解のオフ・サンプルのリスクの間にはどのような関係があるか？
• RQ3 データ依存的複雑度のみを用いて、SVM、SVR、SVDDのためのタイトで有限標本のリスクバインディングを導出可能か？
• RQ4 標本サイズが無限大に近づくとリスクはどのように変化し、普遍的な表現に収束するか？

主な発見

• 緩和を伴う最適化によって得られる解の制約違反リスクは、標本サイズが無限大に近づくにつれて、複雑度と標本サイズの比に収束する。この収束は、複雑度の値に依存しない。
• データ依存的複雑度測度と標本サイズのみを用いてリスクをバインド可能であり、データ生成分布の知識は不要である。
• SVMに関して、新しいオフ・サンプル点を誤分類する確率は、複雑度と標本サイズに依存する $\beta$ によってバインドされる。
• このバインディングはタイトであり、有限の標本サイズに対しても有効であるため、限られたデータを伴う実世界の機械学習シナリオに適用可能である。
• この手法はSVM、SVR、SVDDのすべてに一様に適用可能であり、広く使われるこれらのアルゴリズムの統一的理論的枠組みを示している。
• 分析により、たとえば $w^*=0$ のような退化ケースでも、理論的リスクバインディングが依然として有効で情報的であることが明らかになった。