[論文レビュー] Multi-Label Prediction via Compressed Sensing

Daniel Hsu, Sham M. Kakade+2 more|ArXiv.org|Feb 8, 2009

Sparse and Compressive Sensing Techniques参考文献 21被引用数 260

ひとこと要約

本稿は、ラベルベクトルのスパarsityを活用することで、大規模な出力空間におけるマルチラベル予測のための圧縮センシングに基づく手法を提案する。センシング行列を用いてマルチラベル学習を少数のバイナリ回帰問題に還元することで、ラベル数に対して対数スケーリングを達成し、ノイズや曖昧なラベルが存在する状況でも頑健な性能を発揮する。

ABSTRACT

We consider multi-label prediction problems with large output spaces under the assumption of output sparsity -- that the target (label) vectors have small support. We develop a general theory for a variant of the popular error correcting output code scheme, using ideas from compressed sensing for exploiting this sparsity. The method can be regarded as a simple reduction from multi-label regression problems to binary regression problems. We show that the number of subproblems need only be logarithmic in the total number of possible labels, making this approach radically more efficient than others. We also state and prove robustness guarantees for this method in the form of regret transform bounds (in general), and also provide a more detailed analysis for the linear prediction setting.

研究の動機と目的

• ラベルの種類が非常に多い場合に、従来のワンアgainストーオールマルチラベル学習の計算非効率性を解消すること。
• ラベル階層のような構造的仮定に依存せずに、期待されるラベルベクトルに少数の非ゼロ成分があるという出力のスパarsityを活用すること。
• 予測精度を維持しつつ、マルチラベル予測を少数のバイナリ予測問題に還元する一般化されたフレームワークを構築すること。
• 線形予測設定において、レグルレーションと誤差に関する理論的保証を提供し、ノイズやモデル不適合に対する頑健性を確保すること。
• 圧縮センシング再構成アルゴリズムが、少数の圧縮測定値からスパースラベルベクトルを効果的に回復できることを実験的に示すこと。

提案手法

• ハダマード行列のランダムな行などのセンシング行列を用いて、完全なラベルベクトルを低次元表現に圧縮する。
• 各ラベルサブセットに属するかどうかを判定するバイナリ分類器の集合を、圧縮ラベル上で学習する。
• OMP、FoBa、CoSaMP、Lassoなどのスパース回復アルゴリズムを用いて、予測結果から元のスパースラベルベクトルを再構成する。
• レグルレーション変換バウンドを適用し、圧縮空間における誤差と元のラベル空間における誤差の関係を定式化する。
• 相関デコーディング（CD）を比較ベースラインとして用い、圧縮予測との相関が高い上位-kの成分を選択する。
• 圧縮センシングの理論的結果を活用し、$ O(k \log d) $ 測定値が、高確率で $ k $-スパースラベルベクトルを回復可能であることを保証する。

実験結果

リサーチクエスチョン

• RQ1 大規模な出力空間を有するマルチラベル予測問題に、圧縮センシングを効果的に適用できるか？
• RQ2 圧縮センシングを用いてマルチラベル学習を少数のバイナリ問題に還元することで、従来手法と比較して予測精度が維持または向上するか？
• RQ3 異なる圧縮率やスパarsityレベルにおける、さまざまなスパース回復アルゴリズム（例：OMP、CoSaMP、Lasso）の性能はどのように異なるか？
• RQ4 センシング行列の選択（ハダマード行列 vs. ガウス分布）が、再構成精度と頑健性に与える影響は何か？
• RQ5 圧縮センシングから導かれる理論的レグルレーションバウンドが、実世界のデータセットにおいて実用的性能向上にどの程度寄与するか？

主な発見

• 本手法は、ラベル空間全体が $ d = 1024 $ 個存在する中で、$ m = 300 $ または $ 400 $ 個のサブ問題のみを用いても、ワンアgainストーオール学習と同等の性能を達成した。
• 画像およびテキストデータの両方において、再構成ラベルベクトルの平均二乗誤差はサブ問題数 $ m $ が増加するにつれて減少し、$ m = 400 $ 時点でほぼ最適性能に達した。
• $ k = 10 $ の Precision-at- $ k $ は、$ m = 300 $ の本手法と $ m = 1024 $ のワンアgainストーオールベースラインとでほぼ同一であり、優れた再構成精度を示した。
• $ m $ が小さい場合（例：100）には、OMP や FoBa は相関のあるカラムを避ける傾向にあり性能が低かったが、CoSaMP や Lasso は相関のある特徴を選択できるため、より優れた性能を示した。
• Lassoに基づくパスフォローリングアルゴリズム（LARS）は競争力があり、さまざまなスパarsityレベルおよび圧縮率において頑健な性能を示した。
• スパarsity $ k $ が増加するに従い、平均二乗誤差の減衰率は、画像データで約 $ k^{-0.5} $、テキストデータで約 $ k^{-0.55} $ であり、多項式よりは遅いが非自明な減衰を示しており、中程度のスパarsityと整合的であった。