[論文レビュー] Laplacian Support Vector Machines Trained in the Primal

Stefano Melacci, Mikhail Belkin|ArXiv.org|Sep 29, 2009

Machine Learning and Algorithms参考文献 32被引用数 317

ひとこと要約

本稿では、早期停止を伴うプリコンディショニング共役勾配法（PCG）を用いてラプラシアンサポートベクターマシン（LapSVM）を原始的（primal）に訓練することを提案する。これにより、学習の計算複雑度をO(n³)からO(n²)に低減し、1段階の最適化を可能にする。この手法は、最適解と同等の精度を著しく短時間で達成し、双対形式の制限を克服し、大規模データセットにおけるスケーラビリティを向上させる。

ABSTRACT

In the last few years, due to the growing ubiquity of unlabeled data, much effort has been spent by the machine learning community to develop better understanding and improve the quality of classifiers exploiting unlabeled data. Following the manifold regularization approach, Laplacian Support Vector Machines (LapSVMs) have shown the state of the art performance in semi--supervised classification. In this paper we present two strategies to solve the primal LapSVM problem, in order to overcome some issues of the original dual formulation. Whereas training a LapSVM in the dual requires two steps, using the primal form allows us to collapse training to a single step. Moreover, the computational complexity of the training algorithm is reduced from O(n^3) to O(n^2) using preconditioned conjugate gradient, where n is the combined number of labeled and unlabeled examples. We speed up training by using an early stopping strategy based on the prediction on unlabeled data or, if available, on labeled validation examples. This allows the algorithm to quickly compute approximate solutions with roughly the same classification accuracy as the optimal ones, considerably reducing the training time. Due to its simplicity, training LapSVM in the primal can be the starting point for additional enhancements of the original LapSVM formulation, such as those for dealing with large datasets. We present an extensive experimental evaluation on real world data showing the benefits of the proposed approach.

研究の動機と目的

• 双対形式のLapSVMにおける高い計算コストと2段階の学習プロセスの問題を解決すること。
• 原始的問題を直接解くことで、LapSVMの1段階最適化を可能にすること。
• プリコンディショニング共役勾配法（PCG）を用いて、計算時間と複雑度をO(n³)からO(n²)に低減すること。
• 予測の安定性または検証性能に基づく有効な早期停止基準を、近似解のため開発すること。
• 半教師あり設定におけるスケーラビリティの向上と、インクリメンタル学習や大規模学習のサポートを強化すること。

提案手法

• 双対形式ではなく原始的形でLapSVMの最適化問題を直接解くことにより、ラベルあり・ラベルなしのすべての訓練点を統一的に最適化可能にする。
• PCGを用いて原始的問題を効率的に解く。カーネル行列を追加コストなしにプリコンディショナーとして活用する。
• ラベルなしデータ上の予測安定性またはラベル付き検証セットの性能に基づく早期停止戦略を用いて、反復を早期に停止する。
• ニュートン法とPCGを用いた原始的LapSVMの学習を比較し、PCGの方が反復あたりのコストが低く、スケーラビリティに優れているため、より効率的であることが判明。
• 元の双対形式で必要な「双対から原始的への変換」ステップを回避する1段階の学習プロセスを実装する。
• LapSVMの内在的ノルム正則化項を最適化プロセスに統合し、収束を安定化させ、最小限の精度損失で早期停止を可能にする。

実験結果

リサーチクエスチョン

• RQ1 原始的形でLapSVMを学習させることで、計算複雑度をO(n³)からO(n²)に低減できるか？
• RQ2 原始的問題を直接解くことで、二段階の双対から原始的への変換の必要性が解消されるか？
• RQ3 ラベルなしデータまたは検証データの安定性に基づく早期停止は、近似的に最適な精度を達成し、著しく短い学習時間を実現できるか？
• RQ4 LapSVMに内蔵された内在的ノルム正則化項は、反復的解法における収束行動と停止条件の調整にどのように影響するか？
• RQ5 原始的形は、今後の拡張（例：インクリメンタル学習やスパースカーネル展開）をサポートできるか？

主な発見

• PCGを用いた原始的LapSVMの学習により、計算複雑度がO(n³)からO(n²)に低減され、スケーラビリティが著しく向上した。
• 早期停止を伴う提案されたPCG法は、最適解と同等の分類精度を達成し、MNIST3VS8のような大規模データセットでは学習時間を最大95％短縮した。
• MNIST3VS8データセットでは、安定性に基づく早期停止を用いたPCG法が2.11秒（±0.06）の学習時間を達成したのに対し、ニュートン法では2824.17秒を要した。
• 検証に基づく停止を用いたPCG法は、MNIST3VS8で平均110イテレーションで5.58％の誤差を達成し、計算コストは最小限に抑えられた。
• LapSVMに内蔵された内在的ノルム正則化項は最適化プロセスを安定化させ、精度の著しい低下を伴わず早期停止を可能にした。
• 原始的形態により、反復回数による近似品質の直接的な制御が可能となり、双対近似と最終解との間の間接的関係を克服した。