[論文レビュー] ShareBoost: Efficient Multiclass Learning with Feature Sharing

Shai Shalev‐Shwartz, Yonatan Wexler+1 more|arXiv (Cornell University)|Sep 5, 2011

Domain Adaptation and Few-Shot Learning参考文献 42被引用数 7

ひとこと要約

ShareBoost は、クラス間で特徴を共有することで、クラス数に対して特徴使用量が部分線形に増加するスパースで効率的な予測子を実現する、多値分類のための新しいブースティング手法である。MNIST では 0.47% の誤差を達成し、わずか 230 個のアンカーポイントで、トレーニングおよび推論の両面で高い効率性を発揮しながら、カーネルSVMと同等の性能を維持している。

ABSTRACT

Multiclass prediction is the problem of classifying an object into a relevant target class. We consider the problem of learning a multiclass predictor that uses only few features, and in particular, the number of used features should increase sub-linearly with the number of possible classes. This implies that features should be shared by several classes. We describe and analyze the ShareBoost algorithm for learning a multiclass predictor that uses few shared features. We prove that ShareBoost efficiently finds a predictor that uses few shared features (if such a predictor exists) and that it has a small generalization error. We also describe how to use ShareBoost for learning a non-linear predictor that has a fast evaluation time. In a series of experiments with natural data sets we demonstrate the benefits of ShareBoost and evaluate its success relatively to other state-of-the-art approaches.

研究の動機と目的

• クラス数の増加に対しても、少数の共有特徴を使用する多値分類学習アルゴリズムの開発を目的とする。
• 重み行列における非ゼロの特徴列数が、クラス数に対して部分線形に増加することを保証する。
• 一般化誤差が低く、スパースで評価が高速な予測子を効率的に学習する手法の設計を目的とする。
• 特に視覚や NLP の分野における実世界の多値分類問題において、特徴共有の有効性を示す。
• L1正則化モデルやカーネルSVMといった最先端手法と比較して、精度と効率性の両面で ShareBoost の優位性を示すこと。

提案手法

• ShareBoost は、多値分類性能を最も向上させる特徴を段階的に追加する前向きのグリーディ選択戦略を用いる。
• 重み行列 W ∈ ℝ^{k×d} を維持し、行はクラスに対応し、列は特徴に対応する。ここで、分類誤差を低減する特徴を選択する。
• 0-1損失に基づく凸な代替損失関数を最適化し、勾配に基づく更新により効率的な最適化を可能にする。
• アンカーポイントと局所線形分類器を用いた区分線形構成により、非線形予測子へ一般化する。
• 各ラウンドで、離散的な探索空間からアンカーポイントと半径を選択し、近傍で活性化する局所線形分類器を構築する。
• 最終的な予測子は、複数の局所線形分類器を「クラスごとの最大値」による意思決定ルールで統合する： h(x) = argmax_y (Σ_j 1{||x−v^(j)||<r^(j)} (W_y^(j)x + b_y^(j)))。

実験結果

リサーチクエスチョン

• RQ1 クラス数に対して特徴数が部分線形に増加する多値分類学習アルゴリズムを設計可能か？
• RQ2 共有特徴に対するグリーディ特徴選択戦略は、L1正則化や混合ノルム手法と比較して、一般化性能と効率性に優れるか？
• RQ3 ShareBoost は、MNIST などのベンチマークデータセットで、特徴数が少なく、推論が高速であるにもかかわらず、SOTA の精度を達成できるか？
• RQ4 特に、サポートベクトルの数に相当する「類似サポート要素（アンカーポイント）」の数に着目した場合、ShareBoost はカーネルSVMと比較して性能と効率性に優れるか？
• RQ5 特徴共有と局所線形モデルを用いて、非線形予測子を効率的に学習可能か？

主な発見

• ShareBoost は MNIST データセットで 0.47% のテスト誤差率を達成し、10,000 個のテスト例のうち 47 個の誤分類にとどまった。
• この性能を達成するのに必要なアンカーポイントはわずか 230 個であり、通常のカーネルSVMが要するサポートベクトルの数に比べて顕著に少ない。
• 75 ラウンドのトレーニングで 1% 未満の誤差に到達し、高速な収束を示した。
• MAC 操作数は約 330 万回に削減されたが、MNIST のトップパフォーマーが使用した 750 万回と比較して、推論効率に優れたことが示された。
• ShareBoost はガウスカーネルSVMと同等の性能を発揮したが、はるかにスパースな予測子を用い、最小限の特徴設計作業で実現した。
• 選択された特徴と重み列には、『8』『9』『5』などの数字に共通して共有される特定のテンプレートが顕在化し、解釈可能なパターンが明らかになった。