[論文レビュー] Iteratively-Reweighted Least-Squares Fitting of Support Vector Machines: A Majorization--Minimization Algorithm Approach

Hien D. Nguyen, Geoffrey J. McLachlan|arXiv (Cornell University)|May 12, 2017

Sparse and Compressive Sensing Techniques参考文献 4被引用数 4

ひとこと要約

本稿は、ヒンジ、最小二乗、二乗ヒンジ、ロジスティック損失と1-ノルム、2-ノルム、エラスティック・ネット正則化を含む多様な損失関数および正則化関数を備えたサポートベクターマシン（SVM）のフィッティングに、反復加重最小二乗法（IRLS）アルゴリズムを導出するための主要化–最小化（MM）フレームワークを提案する。MMの枠組みを活用することで、リスク関数の単調な減少と、定常点へのグローバル収束を保証し、従来の二次計画法を超える柔軟性とグローバル収束性を有する代替手法を提供する。

ABSTRACT

Support vector machines (SVMs) are an important tool in modern data analysis. Traditionally, support vector machines have been fitted via quadratic programming, either using purpose-built or off-the-shelf algorithms. We present an alternative approach to SVM fitting via the majorization--minimization (MM) paradigm. Algorithms that are derived via MM algorithm constructions can be shown to monotonically decrease their objectives at each iteration, as well as be globally convergent to stationary points. We demonstrate the construction of iteratively-reweighted least-squares (IRLS) algorithms, via the MM paradigm, for SVM risk minimization problems involving the hinge, least-square, squared-hinge, and logistic losses, and 1-norm, 2-norm, and elastic net penalizations. Successful implementations of our algorithms are presented via some numerical examples.

研究の動機と目的

• 従来の二次計画法を超える、グローバルに収束する単調な最適化フレームワークを、SVMのフィッティングに開発すること。
• 元来のSVM定式化を超えて、多様な損失関数および正則化関数を含むIRLSアルゴリズムを拡張すること。
• MMの枠組みが、広範なSVMリスク最小化問題に対して安定的かつ収束性を有するIRLS更新を可能にすることを示すこと。
• ヒンジ、最小二乗、二乗ヒンジ、ロジスティック損失を含むさまざまなSVMバリアントに適用可能な統一的なアルゴリズム的手法を提供すること。

提案手法

• 元のSVMリスク関数を近似するための補助関数を、主要化–最小化（MM）フレームワークを用いて構築する。
• 一連の二次的主関数を最小化することでIRLS更新を導出し、各反復で目的関数が単調に減少することを保証する。
• 1-ノルム、2-ノルム、エラスティック・ネット正則化を伴うヒンジ、最小二乗、二乗ヒンジ、ロジスティック損失関数に本手法を適用する。
• 2次テイラー近似と凸性の性質を用いて、最小化が容易な主要化関数を構築する。
• 各ステップで現在のパラメータ推定値に基づいて重みを更新することで、反復的重み付けを実装し、各ステップにおける主要化関数を改善する。
• 合成データを用いた数値例を通じて収束性と性能を検証し、反復ごとに一貫したリスク低減が得られることを示す。

実験結果

リサーチクエスチョン

• RQ1 MMフレームワークを用いることで、多様な損失関数および正則化関数を備えたSVMのグローバルに収束するIRLSアルゴリズムを導出可能か？
• RQ2 提案されたMMによるIRLSアルゴリズムは、反復ごとにリスク関数が単調に減少することを保証するか？
• RQ3 ヒンジ、最小二乗、ロジスティック損失を含むさまざまなSVM定式化において、IRLS-MMアルゴリズムはどのように性能を発揮するか？
• RQ4 1-ノルム、2-ノルム、エラスティック・ネット正則化を統一的なフレームワーク内で組み込むことができるか？
• RQ5 合成分類タスクにおける収束速度および分離品質の観点から、アルゴリズムの経験的挙動はいかなるものか？

主な発見

• MMフレームワークを用いて導出したIRLSアルゴリズムは、図1～図4で示されるように、各反復においてリスク関数が単調に減少することが確認された。
• MMアルゴリズムの理論的性質のおかげで、主要化関数の近似がなされても、定常点へのグローバル収束が保証される。
• 図5では、ヒンジ、最小二乗、二乗ヒンジ、ロジスティックの4つの損失関数すべてが、良好に分離されたハイパーフラットを生成しており、優れた分類性能が示された。
• 実際のリスク関数に対して単調性の保証がないアルゴリズム（例：アルゴリズム6および10）に対しても、リスクの軌道が単調に減少し続けたことから、近似戦略の堅牢性が示された。
• 本手法は、1-ノルム、2-ノルム、エラスティック・ネットの複数の正則化タイプを、単一の統一フレームワーク内で効果的に処理でき、広範な適用可能性を示した。
• 本手法は、[17]の分散SVMフレームワークと整合していることから、分散処理および並列処理フレームワークとも互換性があることが示された。