[論文レビュー] Adaptive Feature Selection: Computationally Efficient Online Sparse Linear Regression under RIP

Satyen Kale, Zohar Karnin+2 more|arXiv (Cornell University)|Jun 14, 2017

Sparse and Compressive Sensing Techniques参考文献 19被引用数 3

ひとこと要約

本稿では、制限等方性性質（RIP）の下で、計算的に効率的なオンラインスパース線形回帰アルゴリズムを提示しており、実現可能かつアグノスティックな設定の両方で部分線形レジットを達成する。弱くスーパー鎖状関数の性質と、BEXP や VAW といったオンライン最適化手法を活用することで、リアルタイムで情報量の多い特徴を適応的に選択し、時間 T に対して部分線形に成長するレジットバウンドを達成しながら、RIP の仮定のもとで多項式時間の複雑性を維持する。

ABSTRACT

Online sparse linear regression is an online problem where an algorithm repeatedly chooses a subset of coordinates to observe in an adversarially chosen feature vector, makes a real-valued prediction, receives the true label, and incurs the squared loss. The goal is to design an online learning algorithm with sublinear regret to the best sparse linear predictor in hindsight. Without any assumptions, this problem is known to be computationally intractable. In this paper, we make the assumption that data matrix satisfies restricted isometry property, and show that this assumption leads to computationally efficient algorithms with sublinear regret for two variants of the problem. In the first variant, the true label is generated according to a sparse linear model with additive Gaussian noise. In the second, the true label is chosen adversarially.

研究の動機と目的

• 標準的な仮定の下でオンラインスパース線形回帰の計算的非効率性を解消すること。
• オンラインスパース線形回帰に対して、部分線形レジットを達成する多項式時間のアルゴリズムを設計すること。
• 制限等方性性質（RIP）が、実現可能かつアグノスティックな両設定で取り扱える解法を可能にすることを確立すること。
• 予算制約の下で、各ラウンドにおいて最も情報量の多い特徴を動的に選択する適応的特徴選択を可能にすること。
• オンラインスパース回帰が計算的に実行可能であるための仮定とは何かという未解決問題を解消すること。

提案手法

• 本手法は、すべての十分に大きな t に対して、特徴ベクトルの設計行列が制限等方性性質（RIP）を満たすものと仮定する。
• 予測誤差を弱くスーパー鎖状な集合関数 g(S) としてモデル化し、これにより BEXP アルゴリズムによる貪欲な近似が可能になる。
• アルゴリズムはシーケンスをミニバッチに分割し、各バッチ内で累積損失を最小化するために VAW アルゴリズムを適用する。
• 二段階のアプローチを採用する：まず、BEXP が期待誤差低減に基づき各バッチごとに k₁-スパースな特徴サブセットを選択し、次に VAW が選択された特徴上で最適な重みを学習する。
• レジットバウンドは、貪欲な選択の近似誤差（弱いスーパー鎖状性を介して）と VAW のオンライン学習レジットを組み合わせることで導出される。
• 解析では集中限界と制限条件数の性質を活用し、バッチ間での誤差伝搬を制御する。

実験結果

リサーチクエスチョン

• RQ1 RIP という自然な仮定のもとで、オンラインスパース線形回帰を計算的に効率的に行えるか？
• RQ2 RIP 仮定が、実現可能かつアグノスティックな両設定で部分線形レジットを達成するのに十分か？
• RQ3 制限された特徴クエリ予算の下で、適応的特徴選択をオンラインスパース回帰に効率的に統合できるか？
• RQ4 T に対してレジットが部分線形に成長する一方で、多項式時間の複雑性を維持できる方法はあるか？
• RQ5 RIP 仮定を弱める場合でも、計算的取り扱いやすさを失わずに行えるか？

主な発見

• RIP 仮定のもとで、提案アルゴリズムのレジットは O(κ²k√(d k₁ log(d) T / k₀)) + O(k₁ log T) で有界であり、T に対して部分線形に成長する。
• k₁ = Ω(κ²k log T) のとき、T に対して部分線形に成長するため、アルゴリズムの性能が最良の k-スパース予測子に近づく。
• 本手法は、期待累積損失が最適な k-スパース予測子と O(κ²k√(d k₁ log(d) T / k₀)) の誤差内に収まることが保証され、オンライン学習による追加の O(k₁ log T) 損失が生じる。
• 解析により、RIP の下で誤差関数が弱くスーパー鎖状であることが示され、近似誤差が有界な貪欲な特徴選択が有効に可能である。
• アルゴリズムは各ラウンドで異なるスパース特徴サブセットを適応的に選択し、効率的に適応的特徴選択問題を解決する。
• 結果は、irrepresentability といったより弱い条件のもとで実現可能設定へも拡張可能であり、厳密な RIP を超える広範な適用可能性を示唆する。