[論文レビュー] Efficient Feature Group Sequencing for Anytime Linear Prediction

Hanzhang Hu, Alexander Grubb+2 more|arXiv (Cornell University)|Sep 19, 2014

Advanced Bandit Algorithms Research参考文献 24被引用数 5

ひとこと要約

本稿では、計算コストを伴う特徴グループ設定における任意時線形予測のための効率的なグリーディアルゴリズム—CS-G-FRおよびCS-G-OMP—を提案する。前方回帰（Forward Regression）と直交マッチング Pursuit（Orthogonal Matching Pursuit）を、コストを考慮したスコアリングによるグループ単位の特徴選択に拡張することで、すべての予算レベルで近似的に最適な予測性能を達成する。理論的保証として、任意のコスト$B$の最適性能を$4B$のコストで近似できることを示し、このバウンドがタイトであることも証明している。

ABSTRACT

We consider extit{anytime} linear prediction in the common machine learning setting, where features are in groups that have costs. We achieve anytime (or interruptible) predictions by sequencing the computation of feature groups and reporting results using the computed features at interruption. We extend Orthogonal Matching Pursuit (OMP) and Forward Regression (FR) to learn the sequencing greedily under this group setting with costs. We theoretically guarantee that our algorithms achieve near-optimal linear predictions at each budget when a feature group is chosen. With a novel analysis of OMP, we improve its theoretical bound to the same strength as that of FR. In addition, we develop a novel algorithm that consumes cost $4B$ to approximate the optimal performance of extit{any} cost $B$, and prove that with cost less than $4B$, such an approximation is impossible. To our knowledge, these are the first anytime bounds at extit{all} budgets. We test our algorithms on two real-world data-sets and evaluate them in terms of anytime linear prediction performance against cost-weighted Group Lasso and alternative greedy algorithms.

研究の動機と目的

• 特徴がグループ化されており、各グループに計算コストが関連付けられた設定において、任意時線形予測を可能にすること。
• 前方回帰（FR）や直交マッチング Pursuit（OMP）のようなグリーディアルゴリズムを、コストを伴うグループ設定に拡張しつつ、理論的性能保証を維持すること。
• 特定のグループ境界でのみ成り立つのではなく、すべての予算レベルにわたって成り立つ、包括的な任意時性能バウンドを確立すること。
• コスト$B$での最適性能を近似するために、$4B$のコストが十分かつ必要（定数係数の意味で）であることを証明すること。
• 実世界のデータセットを用いて、グループラassoと代替のグリーディベースラインと比較して、提案手法の実験的妥当性を検証すること。

提案手法

• 説明される分散のマージナルゲインを単位コストあたりで評価することで、前方回帰（FR）をグループ設定に拡張し、特徴グループを選択する。
• グループ相関を考慮するために、グループコストで重み付けされた勾配ノルムとマハラノビスノルム$\nabla_g^T (X_g^T X_g)^{-1} \nabla_g$を用いて、直交マッチング Pursuit（OMP）をグループ設定に適応する。
• 理論的および実験的性能の向上を目的に、グループホワイトニングを前処理ステップとして導入し、OMPの勾配ノルムを標準$\ell_2$ノルムに一致させる。
• グループ境界でのみ性能を最適化するのではなく、すべての予算レベルで予測リスクを最小化するように特徴グループの順序を決定する、新しいアルゴリズムフレームワークを提案する。
• 部分モジュラー最適化と固有値バウンドに基づく理論的分析を用いて、CS-G-FRおよびCS-G-OMPが、$1 - e^{-\lambda^*}$の要因で近似的に最適な説明分散を達成することを証明。これは、FRの最高水準のバウンドと一致する。
• 任意の固定順序では、最適な$B$コスト性能を$4B$未満のコストで超える近似が不可能であることを証明。これにより、タイトなバウンドが確立される。

実験結果

リサーチクエスチョン

• RQ1 コストを伴うグループ単位の計算コスト下で、グリーディな特徴グループ選択を任意時線形予測に拡張でき、理論的性能保証を維持できるか？
• RQ2 特徴グループを逐次選択する場合に、任意時線形予測のための最もタイトなコスト近似比は何か？
• RQ3 グループホワイトニングは、グループコスト設定下でのOMPの性能と理論的分析にどのように影響を与えるか？
• RQ4 提案手法は、コスト重み付きグループラassoおよび代替のグリーディベースラインと比較して、予測精度と応答速度の両面で優れているか？
• RQ5 グループ選択ポイントに限らず、すべての予算レベルにわたって統一された性能バウンドを確立できるか？

主な発見

• 提案されたCS-G-FRおよびCS-G-OMPアルゴリズムは、理論的保証として$1 - e^{-\lambda^*}$の説明分散を達成し、標準FRの最高水準のバウンドと一致する。
• 新たな理論的分析により、OMPのバウンドがFRの性能に一致するよう改善され、グループ設定におけるOMPの理論的理解のギャップが解消された。
• 本稿では、任意のコスト$B$の最適性能を近似するために、$4B$のコストが十分であり、かつ必要（定数係数の意味で）であることを証明。このバウンドがタイトであることが示された。
• 農業およびYahoo! LTRデータセットにおける実験結果から、グループホワイトニングを施したCS-G-OMPは、ベースラインのスパース法および単一特徴バージョンを常に上回り、特に相関の高い特徴グループ設定下で顕著な優位性を示した。
• CS-G-FRは全手法の中で最高の性能を達成し、次いでCS-G-OMPが続いた。訓練時間はラassoパス計算に比べて著しく低く、Yahoo! LTRでは最大20倍の高速化を達成した。
• 性能曲線から、グループホワイトニングが相関のある特徴を有するデータセットにおいて、冗長な特徴グループの過剰評価を防ぎ、予測品質を一貫して向上させていることが明らかになった。