[論文レビュー] Theory of Dual-sparse Regularized Randomized Reduction

Tianbao Yang, Lijun Zhang+2 more|arXiv (Cornell University)|Apr 15, 2015

Sparse and Compressive Sensing Techniques参考文献 41被引用数 9

ひとこと要約

本稿では、ランダム化次元削減の後に双対問題にスパース正則化子を追加することにより、高次元分類におけるモデル回復を改善する、二重スパース正則化ランダム化削減（DSRR）を提案する。元の双対解がほぼスパースであるという弱い仮定の下で、DSRRは元の解に近い回復された原始および双対解を保証し、通信コストを低減した分散学習への有効な応用を可能にする。

ABSTRACT

In this paper, we study randomized reduction methods, which reduce high-dimensional features into low-dimensional space by randomized methods (e.g., random projection, random hashing), for large-scale high-dimensional classification. Previous theoretical results on randomized reduction methods hinge on strong assumptions about the data, e.g., low rank of the data matrix or a large separable margin of classification, which hinder their applications in broad domains. To address these limitations, we propose dual-sparse regularized randomized reduction methods that introduce a sparse regularizer into the reduced dual problem. Under a mild condition that the original dual solution is a (nearly) sparse vector, we show that the resulting dual solution is close to the original dual solution and concentrates on its support set. In numerical experiments, we present an empirical study to support the analysis and we also present a novel application of the dual-sparse regularized randomized reduction methods to reducing the communication cost of distributed learning from large-scale high-dimensional data.

研究の動機と目的

• 低ランクデータや大きなマージン分離可能性といった強い仮定に依存する従来のランダム化削減手法の限界を解消すること。
• 次元削減後の元のモデルの正確な回復を保証する理論的裏付けを持つ手法の開発。
• 削減された空間の解を初期点として用いることで、通信オーバーヘッドを低減する効率的な分散学習の実現。
• ランダム射影、ランダムハッシング、ランダムサンプリングといったさまざまなランダム化削減技術を、統一的な枠組みで分析すること。
• 滑らかでない損失関数に対しても、滑らかさに制限された先行研究を超えて、滑らかでない損失関数に対しても回復保証を提供すること。

提案手法

• 次元削減後の分類タスクの双対問題に、双対変数のスパarsityを促進する二重スパース正則化子を導入する。
• 大規模なSVMにおける最適双対解が通常スパースであるという事実を活用し、理論的回復保証のための主要仮定として用いる。
• 元のデータベクトルを用いて、削減空間からの双対解を元の特徴空間へマッピングする回復メカニズムを定式化する。
• ランダム射影、ランダムハッシング、ランダムサンプリングといったさまざまなランダム化削減技術を、統一的な理論的枠組み内で扱う。
• 分散最適化アルゴリズム（例：DisDCA）の初期点として回復された解を用いることで、通信ラウンド数を削減する。
• 元の双対解がほぼスパースであるという弱い仮定の下で、原始変数および双対変数の回復誤差バウンドを分析する。

実験結果

リサーチクエスチョン

• RQ1 低ランクデータや大きなマージン分離可能性といった強い仮定を必要とせず、ランダム化次元削減後の元のモデルを正確に回復できるか？
• RQ2 二重スパース正則化子の導入が、元の空間における原始および双対解の回復精度をどのように向上させるか？
• RQ3 提案手法が、ランダム射影、ハッシング、サンプリングといったさまざまなランダム化削減技術に一貫して適用可能か？
• RQ4 分散学習において、回復された解を初期点として用いることで、通信コストを顕著に削減し、収束を加速できるか？
• RQ5 同じ枠組み内で、滑らかでない損失関数に対しても理論的保証を提供できるか？

主な発見

• 元の双対解がほぼスパースである場合、提案されたDSRR手法は回復された双対解が元の双対解に近いことを保証し、理論的回復誤差バウンドが確立されている。
• 滑らかでない損失関数に対しても、本手法は強力な回復保証を提供し、先行研究が滑らかさに限定されていたのを拡張している。
• 実データセットを用いた数値実験により、高次元設定下でも回復誤差が小さく保たれることを確認し、理論的分析の妥当性を検証した。
• 分散学習において、DSRRの解を初期点として用いることで、通信ラウンド数と学習時間を削減でき、DSRR-DisDCA-1/2は全データに対する直接学習と同等の性能を達成した。
• 特に元の特徴次元が非常に高い場合に顕著に通信コストを削減でき、優れた初期化による収束加速が得られる。