[論文レビュー] Multi-view Laplacian Support Vector Machines

Shiliang Sun|arXiv (Cornell University)|Jul 26, 2013

Face and Expression Recognition参考文献 25被引用数 4

ひとこと要約

本稿では、多視点データ向けに、多様体正則化と多視点正則化をサポートベクターマシン（SVM）に統合した、新たな半教師あり学習手法であるMulti-view Laplacian Support Vector Machines（MvLapSVM）を提案する。再生カーネルヒルバート空間における凸な双対問題の最適化と、経験的ラデマッハ複雑度の活用により、一般化性能が向上し、合成データおよび実世界のデータセット（NBA-NASCARやウェブページ分類タスクを含む）において、既存手法を上回る性能を達成する。

ABSTRACT

We propose a new approach, multi-view Laplacian support vector machines (SVMs), for semi-supervised learning under the multi-view scenario. It integrates manifold regularization and multi-view regularization into the usual formulation of SVMs and is a natural extension of SVMs from supervised learning to multi-view semi-supervised learning. The function optimization problem in a reproducing kernel Hilbert space is converted to an optimization in a finite-dimensional Euclidean space. After providing a theoretical bound for the generalization performance of the proposed method, we further give a formulation of the empirical Rademacher complexity which affects the bound significantly. From this bound and the empirical Rademacher complexity, we can gain insights into the roles played by different regularization terms to the generalization performance. Experimental results on synthetic and real-world data sets are presented, which validate the effectiveness of the proposed multi-view Laplacian SVMs approach.

研究の動機と目的

• ラベル付きデータが少ないが、ラベルなしデータが豊富に存在する多視点データ環境における半教師あり学習の課題に対処すること。
• 従来のSVMを拡張し、データの内蔵構造を活用する多様体正則化と、複数の視点間の一貫性を保証する多視点正則化を組み込むこと。
• 経験的ラデマッハ複雑度解析を通じて、一般化性能の理論的基盤を提供すること。
• 合成および実世界の多視点データセット上で、提案手法の有効性を経験的に検証すること。

提案手法

• 本手法は、関数ノルム、多様体（グラフラプラシアン）、多視点正則化の3つの正則化項を組み合わせた、再生カーネルヒルバート空間における原問題を定式化する。
• 多様体正則化は、データポイント間の類似度に基づいて構築されたグラフラプラシアン行列を用いて実装され、意思決定関数がデータ多様体上で滑らかになるように促進する。
• 多視点正則化は、個々の視点からの予測の一貫性を強制し、各視点からの予測に依存する統合損失関数を用いる。
• 原問題は、有限次元のユークリッド空間における双対最適化問題に変換され、凸最適化技術を用いて効率的に解ける。
• 理論的分析では、一般化誤差の境界を導出し、各正則化項の役割を経験的ラデマッハ複雑度を通じて分析する。
• 実用的な安定性と性能向上を図るため、正規化されたグラフラプラシアン（ラプラシアン行列）を用いる。

実験結果

リサーチクエスチョン

• RQ1 多様体正則化と多視点正則化を、半教師ありSVMフレームワークに効果的に統合することで、一般化性能を向上させることは可能か？
• RQ2 関数ノルム、多様体、多視点という各正則化項が、モデルの一般化誤差に与える理論的影響は何か？
• RQ3 経験的ラデマッハ複雑度は、異なる正則化成分がモデル容量および性能に与える影響をどのように反映するか？
• RQ4 LapSVM、Co-Laplacian SVM、Co-SVMといった既存の最先端手法を上回る性能を、提案手法が達成できるか？
• RQ5 複数の視点と多様体構造の統合は、ラベル付き例が限られた実世界のデータセットにおいて、どの程度性能向上に寄与するか？

主な発見

• NBA-NASCARデータセットでは、MvLapSVMはテスト精度99.38%（±0.64）およびラベルなしデータセット精度99.54%（±0.56）を達成し、すべてのベースラインを上回った。
• ウェブページ分類データセットでは、MvLapSVMはテストセットで94.25%（±1.62）、ラベルなし学習セットで93.53%（±2.04）の精度を達成し、比較対象の全手法を上回った。
• 理論的分析から、多視点正則化が経験的ラデマッハ複雑度を著しく低減し、一般化性能の向上に顕著な寄与をしていることが明らかになった。
• ラデマッハ複雑度分析による検証を通じて、多様体正則化と多視点正則化のバランスの取れた統合が、強力な一般化性能を実現していることが示された。
• 経験的結果から、MvLapSVMは複数のデータセットおよび評価指標において一貫して1位または上位に位置づけられ、堅牢性と有効性が確認された。