[論文レビュー] $\propto$SVM for learning with label proportions

Felix X. Yu, Dong Liu+3 more|arXiv (Cornell University)|Jun 4, 2013

Machine Learning and Data Classification参考文献 16被引用数 32

ひとこと要約

本稿では、潜在的インスタンスラベルと既知のグループレベルのラベル割合の両方を同時に最適化する、大マージンフレームワークである∝SVMを提案する。制限的なデータ仮定を避けることで、特に大きなバッグサイズにおいて最先端の手法を上回る性能を発揮し、効率的な学習のための交互最適化または凸緩和を用いる。

ABSTRACT

We study the problem of learning with label proportions in which the training data is provided in groups and only the proportion of each class in each group is known. We propose a new method called proportion-SVM, or $\propto$SVM, which explicitly models the latent unknown instance labels together with the known group label proportions in a large-margin framework. Unlike the existing works, our approach avoids making restrictive assumptions about the data. The $\propto$SVM model leads to a non-convex integer programming problem. In order to solve it efficiently, we propose two algorithms: one based on simple alternating optimization and the other based on a convex relaxation. Extensive experiments on standard datasets show that $\propto$SVM outperforms the state-of-the-art, especially for larger group sizes.

研究の動機と目的

• データ分布に関する制限的な仮定を設けずに、グループレベルのラベル割合から学習する課題に対処する。
• パラメトリックまたは生成的仮定に依存するMeanMap や InvCal などの既存手法の限界を克服する。
• 潜在ラベル推定と大マージン分類を統合する柔軟でエンドツーエンドのフレームワークを構築する。
• 得られる非凸整数プログラミング問題を解くための効率的な最適化アルゴリズムを設計する。
• 特に高バッグサイズおよび低監視度の状況においても、多様なデータセットで頑健で優れた性能を示すことを実証する。

提案手法

• 大マージンフレームワークを用いて、潜在的インスタンスラベル $\mathbf{y}$ と分類器パラメータ $\mathbf{w}, b$ の両方を同時に最適化する学習問題を定式化する。
• 標準的なSVMのハッチェス損失 $L(y_i, \mathbf{w}^T\varphi(\mathbf{x}_i)+b)$ と、既知のラベル割合と整合性を保つための割合損失 $L_p(\tilde{p}_k(\mathbf{y}), p_k)$ を組み合わせた損失関数を導入する。
• 非凸整数計画問題を解くために2つのアルゴリズムを提案する：交互最適化（alter-∝SVM）と凸緩和（conv-∝SVM）。
• 凸緩和を用いて整数計画問題を扱いやすい凸最適化問題に変換し、標準的なSVMソルバーを用いて効率的に解けるようにする。
• 特に大規模問題において計算効率を向上させるために、ウォームスタートとインクリメンタルSVMソルブ技術を採用する。
• 非線形カーネルの線形化を実現する明示的特徴写像を適用し、特定の非線形ケースにおいて線形時間計算量を達成する。

実験結果

リサーチクエスチョン

• RQ1 制限的なデータ仮定を設けずに、潜在的インスタンスラベルと既知のラベル割合を大マージンフレームワークで同時に最適化できるか？
• RQ2 MeanMap や InvCal などの最先端手法と比較して、∝SVM は異なるバッグサイズやデータ分布においてどのように性能を発揮するか？
• RQ3 ラベル割合の分布（例：近似的に一様 vs. 極端な割合）がモデル性能に与える影響は何か？
• RQ4 交互最適化と凸緩和の2つの提案アルゴリズムは、精度と計算効率の観点でどのように比較できるか？
• RQ5 ラベル割合がほぼ一様である低監視度の状況でも、∝SVM は高い性能を維持できるか？

主な発見

• ∝SVM は MeanMap や InvCal より顕著に優れた性能を発揮し、特に大きなバッグサイズで顕著である：RBFカーネルとバッグサイズ64を用いたdna-2データセットでは、それぞれ19.82%および12.69%の精度向上を達成した。
• 271Kのインスタンスを含む大規模なcod-rna.tデータセットにおいて、alter-∝SVM はすべての設定でInvCalを上回り、スケーラビリティと頑健性を示した。
• 近似的に一様なラベル割合（例：voteデータセットで38.6%の正例）を有する極めて困難な状況でも、alter-∝SVM はバッグサイズ8で94.23%、バッグサイズ32で86.71%の精度を達成し、情報量が少ないバッグに対しても耐性があることを示した。
• 凸緩和による方法（conv-∝SVM）は近似を伴うが、voteデータセットで89.60%および87.69%の競争力ある性能を発揮しており、近似下でも手法の安定性が保証されていることを示した。
• 交互最適化アルゴリズム（alter-∝SVM）は凸緩和（conv-∝SVM）より遅いが、より高い精度を達成しており、RBFカーネルを用いたvoteデータセットでは15.0秒対4.3秒の処理時間を要した。
• conv-∝SVM や InvCal を用いて alter-∝SVM の初期化を行うことで、性能を損なわず実用的な高速化が可能であることがわかった。