[論文レビュー] Stochastic Iterative Hard Thresholding for Graph-structured Sparsity Optimization

Baojian Zhou, Feng Chen+1 more|arXiv (Cornell University)|May 9, 2019

Sparse and Compressive Sensing Techniques参考文献 60被引用数 6

ひとこと要約

本稿では、非凸設定におけるグラフ構造をもつスパース制約に適した、新しい確率的最適化アルゴリズムであるStochastic Iterative Hard Thresholding (StoIHT)を提案する。最小二乗損失関数およびロジスティック損失関数の両方において、定数誤差の範囲で線形収束を達成しており、乳がんデータセットのような大規模データ上では、決定的手法に比べて効率性とスケーラビリティに優れている。

ABSTRACT

Stochastic optimization algorithms update models with cheap per-iteration costs sequentially, which makes them amenable for large-scale data analysis. Such algorithms have been widely studied for structured sparse models where the sparsity information is very specific, e.g., convex sparsity-inducing norms or $\ell^0$-norm. However, these norms cannot be directly applied to the problem of complex (non-convex) graph-structured sparsity models, which have important application in disease outbreak and social networks, etc. In this paper, we propose a stochastic gradient-based method for solving graph-structured sparsity constraint problems, not restricted to the least square loss. We prove that our algorithm enjoys a linear convergence up to a constant error, which is competitive with the counterparts in the batch learning setting. We conduct extensive experiments to show the efficiency and effectiveness of the proposed algorithms.

研究の動機と目的

• 複雑で非凸なグラフ構造スパースモデルに対する、効率的な確率的最適化手法の不足を解消すること。
• フルバッチ手法が計算的に非現実的となる大規模データセットにおけるスケーラブルな学習を可能にすること。
• 凸スパース誘導ノルムを越えて、グラフによって定義される構造的で非凸なサポートにまで拡張された確率的勾配ベースの手法を提供すること。
• グラフ制約付き最適化において、低コストの反復処理を実現しながらも、精度を維持する線形収束を達成すること。
• 疾患の流行検出やがん関連遺伝子解析のような実世界の応用において、手法を検証すること。

提案手法

• グラフ構造スパース制約を統合した、反復的ハードスレッディングに基づく確率的勾配アルゴリズムを提案する。
• ミニバッチ上の勾配の確率的近似を用いることで、反復コストをO(mp)からO(p)に削減する。
• 連結部分グラフまたはクラスタによって定義される構造的スパースモデルM(M)への射影演算子を採用する。
• NP困難な射影を効率的に処理するため、2近似射影（ヘッドおよびテイル）を適用する。
• 非凸でグラフに基づくサポート集合に適応した反復的ハードスレッディングフレームワークを拡張し、収束保証を維持する。
• 最小二乗損失およびロジスティック損失を含む一般損失関数において、高確率で収束を導出する。

実験結果

リサーチクエスチョン

• RQ1 非凸的でグラフ構造をもつスパースモデルに、確率的最適化が効果的に適用可能か？
• RQ2 提案されたStoIHTアルゴリズムは、最小二乗損失およびロジスティック損失関数の両方において線形収束を達成するか？
• RQ3 大規模データ上での収束速度および解の品質において、StoIHTは決定的対応手法に比べて優れているか？
• RQ4 高次元でノイズの多いデータセットにスケーリングする際、StoIHTはスパース構造（例えば連結部分グラフ）を維持できるか？
• RQ5 実世界の応用、たとえば疾患の流行検出やがん関連遺伝子解析におけるStoIHTの実効的性能はいかがなものか？

主な発見

• StoIHTは、最小二乗損失およびロジスティック損失関数の両方において、定数誤差の範囲で線形収束を達成しており、バッチ手法と同等の収束速度を示した。
• 乳がんデータセットにおいて、StoIHTはテスト誤差を0.339 ± 0.07まで低下させ、GraphIHT（0.352 ± 0.07）およびIHT（0.392 ± 0.06）を上回った。
• StoIHTは平均51.7 ± 26.7個の非ゼロ係数を達成し、IHT（61.2 ± 22.1）に比べて顕著にスパース性の制御が優れていた。
• すべてのfoldにおいて非ゼロ特徴量の数が一貫して減少し、特にGraphStoIHTが全手法中最も低い平均スパース性（55.2 ± 28.9）を達成した。
• StoIHTは優れたスケーラビリティを示し、反復コストをO(mp)からO(p)に削減することで、大規模データ上での効率的な学習を可能にした。
• 実験結果から、StoIHTは複雑なグラフ構造スパース性を強制しながらも高い予測精度を維持することが確認され、実用的価値が裏付けられた。