[論文レビュー] Sample Efficient Stochastic Gradient Iterative Hard Thresholding Method for Stochastic Sparse Linear Regression with Limited Attribute Observation

Tomoya Murata, Taiji Suzuki|arXiv (Cornell University)|Sep 5, 2018

Sparse and Compressive Sensing Techniques被引用数 5

ひとこと要約

本稿では、各例に対して固定された数の特徴量しか観測できない制限付き属性観測下でのスパース線形回帰に対して、サンプル効率の良い確率的勾配法を提案する。反復的ハードスレッディングと適応的探索・活用の組み合わせにより、次元に依存する要因を改善し、非ゼロ係数が十分に大きい場合にはミニマックス最適性に近い $ widetilde{O}(1/\varepsilon)$ のサンプル複雑度を達成する。

ABSTRACT

We develop new stochastic gradient methods for efficiently solving sparse linear regression in a partial attribute observation setting, where learners are only allowed to observe a fixed number of actively chosen attributes per example at training and prediction times. It is shown that the methods achieve essentially a sample complexity of $O(1/\varepsilon)$ to attain an error of $\varepsilon$ under a variant of restricted eigenvalue condition, and the rate has better dependency on the problem dimension than existing methods. Particularly, if the smallest magnitude of the non-zero components of the optimal solution is not too small, the rate of our proposed {\it Hybrid} algorithm can be boosted to near the minimax optimal sample complexity of {\it full information} algorithms. The core ideas are (i) efficient construction of an unbiased gradient estimator by the iterative usage of the hard thresholding operator for configuring an exploration algorithm; and (ii) an adaptive combination of the exploration and an exploitation algorithms for quickly identifying the support of the optimum and efficiently searching the optimal parameter in its support. Experimental results are presented to validate our theoretical findings and the superiority of our proposed methods.

研究の動機と目的

• トレーニング時および予測時において、各例に対して観測可能な属性数が限られている状況下でのスパース線形回帰の課題に対処すること。
• 部分観測下における確率的スパース回帰において、従来の手法が示す次元依存の悪いサンプル複雑度を克服すること。
• 最小非ゼロ係数の大きさにやや緩い条件下で、近似的にミニマックス最適なサンプル複雑度を達成するアルゴリズムを設計すること。
• 計算コストを観測された属性数および問題の次元に比例させるようにすることで、実行時間とメモリ効率を保証すること。

提案手法

• 反復的ハードスレッディング作用素を繰り返し適用して構築された不偏勾配推定器を用いて、特徴空間内の探索を誘導する。
• 探索（真のサポートの特定）と活用（サポート内でのパラメータ推定の精緻化）を適応的に組み合わせるハイブリッドアルゴリズムを導入する。
• 2段階戦略を採用する：まず、最適なスパース解のサポートを推定するために確率的探索フェーズを実行する。
• スパース性と収束性を維持するための、慎重に設計されたステップサイズとスレッディングルールを用いた確率的勾配降下フレームワークを適用する。
• 理論的分析では、推定誤差とサンプル複雑度を制限するための、制限付き固有値条件の変種を用いる。
• Dantzig Selectorに基づく手法とは異なり、過去のすべてのサンプルを保存しないことで、メモリ効率を確保する。

実験結果

リサーチクエスチョン

• RQ1 制限付き属性観測下で、ミニマックス最適レートに近いサンプル複雑度を達成する確率的勾配法を設計することは可能か？
• RQ2 各例に対して観測可能な属性のサブセットしか得られない状況で、特徴空間を効率的に探索する方法は何か？
• RQ3 非ゼロ係数の最小絶対値が、このようなアルゴリズムの収束速度に与える影響は何か？
• RQ4 Dantzig Selector や正則化された双対平均化といった従来手法と比較して、次元依存の要因を改善できるか？
• RQ5 この設定において、高い統計的効率を達成しつつ、低コストのメモリと実行時間コストを維持することは可能か？

主な発見

• 提案手法は、制限付き固有値条件の変種のもとで、$ widetilde{O}(1/\varepsilon)$ のサンプル複雑度を達成し、対数要因を除いて最適である。
• 最小非ゼロ係数がゼロから離れている場合、ハイブリッドアルゴリズムのサンプル複雑度は、完全情報アルゴリズムのミニマックス最適レートに近づく。
• 実行時間とメモリコストは、各例あたりの観測された属性数および問題の次元に線形に依存し、実用的な効率性を保証する。
• 理論的分析により、誤差は $\kappa_s$、$R_\infty$、$L_s$、および $\mathcal{L}(\widetilde{\theta}_0) - \mathcal{L}(\theta_*)$ のギャップに依存する収束速度を示し、次元および信頼度に対する対数的依存性が示された。
• 実験的結果は理論的予想を裏付け、収束速度およびサンプル効率の点で、既存手法を上回ることを示した。
• 高次元特徴量と限られた観測予算の下で、真の解がスパース的であり、係数が小さすぎない場合には、本手法が先行手法を上回ることを示した。