[論文レビュー] L1 Regression with Lewis Weights Subsampling

Aditya Parulekar, Advait Parulekar+1 more|arXiv (Cornell University)|Jan 1, 2021

Machine Learning and Algorithms参考文献 14被引用数 3

ひとこと要約

本稿では、行のサンプリングにLewis重みを用いたℓ1回帰のためのアクティブラーニング手法を提案する。Lewis重みに従って復元抽出でm = O(1/ε² d log d/εδ)行をサンプリングすることで、高確率1−δで(1+ε)-近似解が得られることを示している。本手法は、ℓ2リグレッサーの手法と比較してδに指数的になめらかな依存性を示し、近似的に最適なサンプル複雑度を達成する。

ABSTRACT

We consider the problem of finding an approximate solution to $\ell_1$ regression while only observing a small number of labels. Given an $n imes d$ unlabeled data matrix $X$, we must choose a small set of $m \ll n$ rows to observe the labels of, then output an estimate $\widehatβ$ whose error on the original problem is within a $1 + \varepsilon$ factor of optimal. We show that sampling from $X$ according to its Lewis weights and outputting the empirical minimizer succeeds with probability $1-δ$ for $m > O(\frac{1}{\varepsilon^2} d \log \frac{d}{\varepsilon δ})$. This is analogous to the performance of sampling according to leverage scores for $\ell_2$ regression, but with exponentially better dependence on $δ$. We also give a corresponding lower bound of $Ω(\frac{d}{\varepsilon^2} + (d + \frac{1}{\varepsilon^2}) \log\frac{1}δ)$.

研究の動機と目的

• 高確率で(1+ε)-近似解を保証しつつ、ラベルクエリ数を最小限に抑えるアクティブラーニングアルゴリズムを、ℓ1回帰のための開発を目的とする。
• ℓ2損失ではなくℓ1損失に注目することで、外れ値や重尾ノイズに対して強いロバストネスを実現する課題に取り組む。
• ℓ1 Lewis重みに従って行をサンプリングすることで、アクティブℓ1回帰における近似的に最適なサンプル複雑度が達成されることを示す。
• 必要なクエリ数の理論的下界を確立し、提案手法の近似的最適性を示す。

提案手法

• 設計行列Xの各行に対する重要度としてLewis重みを用い、ラベルの効率的サブサンプリングを実現する。
• 非適応的サンプリング・リウェートリングスケッチS ∈ ℝm×nを採用し、各行は確率に比例して1/pi eiとなる。
• サブサンプルデータ上で経験的リスク最小化を適用する：β̂ = argmin ∥SXβ − Sy∥₁。
• Lewis重みによるℓ1ノルムの部分空間埋め込みの保証を活用し、すべてのβに対して∥SXβ∥₁ ≈ ∥Xβ∥₁が成り立つようにする。
• Lewis重みをバインドするための補助行列X′の新規構成を用い、[CP15]のモーメントバインドを適用可能にする。
• Rademacher複雑度とモーメント解析を用いて、経験的目的関数と真の目的関数の乖離を制御する。

実験結果

リサーチクエスチョン

• RQ1 Lewis重みサンプリングは、サブ線形なラベル数を用いて高確率で(1+ε)-近似ℓ1回帰を達成できるか？
• RQ2 ℓ1回帰におけるLewis重みサンプリングのサンプル複雑度は、ℓ2回帰におけるリグレッサー重みと比較してδ依存性においてどのように異なるか？
• RQ3 提案されたサンプル複雑度は近似的に最適か、下界を確立することでそのタイトネスを確認できるか？
• RQ4 ℓ1回帰では閉形式解が存在しないが、サブサンプリングとモーメントベース解析によりこれを克服できるか？
• RQ5 アクティブℓ1回帰において、近似誤差ε、信頼度δ、およびサンプルサイズmの間にはどのようなトレードオフがあるか？

主な発見

• 提案手法は、m = O(1/ε² d log d/εδ)回のラベルクエリで、高確率1−δで(1+ε)-近似ℓ1回帰を達成する。
• サンプル複雑度は、ℓ2リグレッサーの手法と比較してδに指数的になめらかな依存性を示し、後者はO(1/ε² d log(1/δ))とスケーリングする。
• Ω(d log(1/δ) + d/ε² + 1/ε² log(1/δ))の一致する下界が確立され、上界の近似的最適性が示された。
• 本手法は非適応的であり、過去の結果に基づく逐次的クエリを必要としない。
• 経験的目的関数と真の目的関数の乖離を制御することで、ℓ1回帰における複数の最小化子に対しても解析が拡張可能である。
• 主な技術的イノベーションは、Lewis重みをバインドする行列構築であり、これにより先行研究のモーメントバインドの適用が可能になった。