[論文レビュー] Query Complexity of Least Absolute Deviation Regression via Robust Uniform Convergence

Xue Chen, Michał Dereziński|arXiv (Cornell University)|Feb 3, 2021

Stochastic Gradient Optimization Techniques参考文献 29被引用数 4

ひとこと要約

本稿は、最小絶対偏差（L1）回帰における最初のタイトなクエリ複雑度の境界を確立し、対数的要因を除いてΘ(d/ε²)のクエリを要することを示した。また、外れ値による分散を是正するという、独創的な解析フレームワーク「ロバスト一様収束」を導入し、重要度サンプリングにおける外れ値の影響を是正することで、クエリ制約下でのL1回帰に対する最初の非自明な保証を可能にした。

ABSTRACT

Consider a regression problem where the learner is given a large collection of $d$-dimensional data points, but can only query a small subset of the real-valued labels. How many queries are needed to obtain a $1+ε$ relative error approximation of the optimum? While this problem has been extensively studied for least squares regression, little is known for other losses. An important example is least absolute deviation regression ($\ell_1$ regression) which enjoys superior robustness to outliers compared to least squares. We develop a new framework for analyzing importance sampling methods in regression problems, which enables us to show that the query complexity of least absolute deviation regression is $Θ(d/ε^2)$ up to logarithmic factors. We further extend our techniques to show the first bounds on the query complexity for any $\ell_p$ loss with $p\in(1,2)$. As a key novelty in our analysis, we introduce the notion of robust uniform convergence, which is a new approximation guarantee for the empirical loss. While it is inspired by uniform convergence in statistical learning, our approach additionally incorporates a correction term to avoid unnecessary variance due to outliers. This can be viewed as a new connection between statistical learning theory and variance reduction techniques in stochastic optimization, which should be of independent interest.

研究の動機と目的

• ロバスト回帰におけるクエリ複雑度の未解決問題、特にL1（最小絶対偏差）回帰の問題を扱う。
• L1回帰における閉形式解の欠如と外れ値への感受性が、従来のクエリ複雑度解析を阻害していた点を克服する。
• ラベルのアクセス制限下での重要度サンプリング手法の解析を可能にする、新しい理論的フレームワークを開発する。
• ℓp回帰（p ∈ (1,2)）への分析を拡張し、このような損失関数に対して初めて知られるクエリ複雑度の境界を提供する。
• 統計的学習理論と確率的最適化における分散低減の間に、ロバスト一様収束を介して新たな接点を確立する。

提案手法

• 標準的一様収束に外れ値による分散低減のための補正項を追加する、新しい近似保証「ロバスト一様収束」を導入する。
• 重要度サンプリングにリウズ・ウェイトサンプリングを適用し、そのℓ1部分空間埋め込み性を活用して、経験的損失の安定した近似を保証する。
• クエリ複雑度の下界を示すために、二値通信ゲームへの還元を適用し、回帰係数の符号パターンに基づく困難なインスタンスを構築する。
• ラベル分布に関する確率的議論を用いて期待クエリコストを分析し、集中不等式と和集合不等式を用いて失敗確率を制御する。
• 上界と下界の解析を統合することで、対数的要因を除いてクエリ複雑度がタイトであることを示す。
• アルゴリズムの出力の符号パターンが、高確率で最適解と少なくとも99％の座標で一致することを証明し、通信ゲームへの還元に有効であることを示す。

実験結果

リサーチクエスチョン

• RQ1 ラベルの一部しかクエリできない状況下で、最小絶対偏差（L1）回帰のクエリ複雑度はいかほどか？
• RQ2 ロバスト一様収束は、ℓ1のような非滑らかで外れ値に感受的な損失関数における重要度サンプリングの安定した解析フレームワークを提供できるか？
• RQ3 p ∈ (1,2) のℓp回帰のクエリ複雑度はどのようにスケーリングされ、類似の技術で境界を付与できるか？
• RQ4 統計的学習理論と確率的最適化における分散低減の間に、ロバスト回帰において接点を確立できるか？
• RQ5 L1回帰で(1+ε)-近似を達成するために必要なクエリ数の根本的限界（下界）は何か？

主な発見

• L1回帰のクエリ複雑度はΩ((d + log(1/δ))/ε²)かつO(d log(d/εδ)/ε²)であり、対数的要因を除いてタイトであることが示された。
• ロバスト一様収束により、外れ値による分散を是正することで、L1回帰における重要度サンプリングの最初の非自明な解析が可能になった。
• 本稿では、リウズ・ウェイトサンプリングがO(d log(d/εδ)/ε²)のクエリで最適L1損失の(1+ε)-近似を達成できることを証明した。
• 通信ゲームへの還元により、Ω(d/ε²)の下界が確立され、いかなるアルゴリズムでもΩ(d/ε²)未満のクエリでは(1+ε)-近似を達成できないことが示された。
• フレームワークはp ∈ (1,2)のℓp回帰へと拡張可能であり、このような損失関数に対して初めて知られるクエリ複雑度の境界が得られた。
• 解析により、推定係数ベクトルの符号パターンが高確率で最適解と少なくとも99％の座標で一致することが示され、通信ゲームへの還元が可能となった。