[論文レビュー] Scalable Multilabel Prediction via Randomized Methods

Nikos Karampatziakis, Paul Mineiro|arXiv (Cornell University)|Feb 9, 2015

Machine Learning and ELM参考文献 4被引用数 5

ひとこと要約

本稿では、ランダム化行列分解とカーネル近似を用いて、柔軟で正則化されたリンク関数によりラベル依存性をモデル化するスケーラブルなマルチラベル分類手法を提案する。入力を低ランク部分空間に埋め込み、滑らかさおよび低ランク正則化を適用することで、独立した予測を明示的に計算することなく、大規模なマルチラベルおよびマルチクラスデータセットで最先端の性能を達成し、計算コストを顕著に削減するとともに一般化性能を向上させる。

ABSTRACT

Modeling the dependence between outputs is a fundamental challenge in multilabel classification. In this work we show that a generic regularized nonlinearity mapping independent predictions to joint predictions is sufficient to achieve state-of-the-art performance on a variety of benchmark problems. Crucially, we compute the joint predictions without ever obtaining any independent predictions, while incorporating low-rank and smoothness regularization. We achieve this by leveraging randomized algorithms for matrix decomposition and kernel approximation. Furthermore, our techniques are applicable to the multiclass setting. We apply our method to a variety of multiclass and multilabel data sets, obtaining state-of-the-art results.

研究の動機と目的

• 大出力空間におけるマルチラベル分類におけるラベル依存性のモデル化の課題に対処すること。
• 高次元ラベル空間による計算的・統計的負担を軽減すること。
• 共同予測に低ランクおよび滑らかさ正則化を課すことにより一般化性能を向上させること。
• 行列分解およびカーネル近似のためのランダム化アルゴリズムを活用し、効率的な推論と学習を可能とすること。
• 統一されたフレームワークを用いて、標準的なマルチラベルおよびマルチクラスベンチマークで最先端の性能を示すこと。

提案手法

• 本手法は、ランダムなプローブを用いた部分空間反復により、ラベル射影行列の近似をランダム化埋め込みで行い、次元削減を実現するとともに構造を保持する。
• 独立した予測から共同予測へとマッピングする柔軟なリンク関数を用い、正則化され低ランクな変換により実現する。
• 低ランクおよび滑らかさ正則化は、フルラベル空間上で明示的な計算を避けるためにランダム化カーネル近似および埋め込み技術を用いて実装する。
• ランダム化線形代数を活用してラベル行列の低次元埋め込みを計算し、低次元部分空間における効率的な最適化を可能にする。
• 最適化は、バリデーションセット上でハイパーパrameterをチューニングした前提付きSGD（モーメンタム付き）を埋め込み空間上で実行する。
• 本手法はマルチラベルおよびマルチクラス設定の両方へ適用可能であり、後者はマルチラベルの特殊ケースとして扱われる。

実験結果

リサーチクエスチョン

• RQ1 すべてのラベル組み合わせを明示的にモデル化せずに、正則化され柔軟なリンク関数がマルチラベル予測性能を向上させ得るか？
• RQ2 低ランクおよび滑らかさ正則化を大規模マルチラベル問題に効率的に適用する方法は何か？
• RQ3 ランダム化行列分解およびカーネル近似は、高次元ラベル空間におけるスケーラブルな学習と推論を可能にするか？
• RQ4 学習された埋め込みは、ランダムなガウス行列よりも予測精度および一般化性能において優れているか？
• RQ5 このフレームワークは、標準的なマルチラベルおよびマルチクラスベンチマークでどの程度最先端の結果を達成できるか？

主な発見

• ODPデータセットでは、本手法がテスト誤差 [83.21, 83.39]% を達成し、Lomtree (93.46%) や圧縮センシングベースライン [85.39, 85.56]% を上回った。
• LSHTCデータセットでは、本手法が1ラベル精度（precision-at-1）で53.39%を達成し、同じ分割でFastXML (49.78%) やLPSR-NB (27.91%) を上回った。
• チューニングされた埋め込みの使用により、ランダムなガウス行列との比較で性能が顕著に向上し、学習された低ランク構造の価値が示された。
• 本手法は最大35万ラベルを有するデータセットに対しても効率的にスケーリング可能であり、標準的なデスクトップハードウェアでも学習および推論が可能であった。
• 本手法はマルチラベルおよびマルチクラスベンチマークの両方で最先端の結果を達成し、その有効性とスケーラビリティが裏付けられた。
• 計算コストの大部分は埋め込みステップ（約3000秒）に起因していたが、本手法は依然として実行可能であり、Lomtreeのような対数時間計算量の代替手法を上回った。