[論文レビュー] Learning Polynomials of Few Relevant Dimensions

Sitan Chen, Raghu Meka|arXiv (Cornell University)|Apr 28, 2020

Advanced X-ray Imaging Techniques参考文献 75被引用数 4

ひとこと要約

本稿では、ガウス型共 variate の下で、$r \ll n$ 個の関連する次元にのみ依存する低ランク多項式（次数$d$の多項式）を学習するための新規なアルゴリズムを提案する。この手法は、初期値としてフィルタードPCAを用い、地表面的確率的リーマン幾何的勾配降下法（GeoSGD）を適用することで、サンプル複雑性 $O_{r,d}(n\log^2(1/\epsilon)(\log n)^d)$ と実行時間 $O_{r,d}(Nn^2)$ を達成し、$r$ が小さい場合には標準的な $n^d$ 複雑性と比べて顕著に改善される。

ABSTRACT

Polynomial regression is a basic primitive in learning and statistics. In its most basic form the goal is to fit a degree $d$ polynomial to a response variable $y$ in terms of an $n$-dimensional input vector $x$. This is extremely well-studied with many applications and has sample and runtime complexity $Θ(n^d)$. Can one achieve better runtime if the intrinsic dimension of the data is much smaller than the ambient dimension $n$? Concretely, we are given samples $(x,y)$ where $y$ is a degree at most $d$ polynomial in an unknown $r$-dimensional projection (the relevant dimensions) of $x$. This can be seen both as a generalization of phase retrieval and as a special case of learning multi-index models where the link function is an unknown low-degree polynomial. Note that without distributional assumptions, this is at least as hard as junta learning. In this work we consider the important case where the covariates are Gaussian. We give an algorithm that learns the polynomial within accuracy $ε$ with sample complexity that is roughly $N = O_{r,d}(n \log^2(1/ε) (\log n)^d)$ and runtime $O_{r,d}(N n^2)$. Prior to our work, no such results were known even for the case of $r=1$. We introduce a new filtered PCA approach to get a warm start for the true subspace and use geodesic SGD to boost to arbitrary accuracy; our techniques may be of independent interest, especially for problems dealing with subspace recovery or analyzing SGD on manifolds.

研究の動機と目的

• 高次元空間の次元 $n$ が大きく、しかし内在次元 $r$ が小さい多項式回帰の課題に取り組む。ここで多項式は入力の $r$ 個の関連する射影にのみ依存する。
• データの低ランク構造を活用することで、標準的な多項式回帰の $n^d$ のサンプルおよび実行時間の複雑性を克服する。
• ガウス型共 variate の仮定の下で、$n$ に対してほぼ線形で、$r$ および $d$ に対して多項式の依存性を示す、効率的なアルゴリズムを開発する。
• $\epsilon$-精度内で隠れた部分空間 $U^*$ とリンク多項式 $p$ の両方を正確に回復することを達成する。
• ノイズと有限サンプルの存在下でも、部分空間と係数推定の両方のサンプル複雑性、実行時間、収束性について理論的保証を提供する。

提案手法

• データ行列に対するトリムド特異値分解を用いて、真の $r$ 次元の隠れた部分空間 $U^*$ に近い部分空間を特定することで、初期値としてフィルタードPCAを導入する。
• リーマン多様体上の地表面的確率的リーマン勾配降下法（GeoSGD）を用いて部分空間推定を精緻化し、部分空間のリーマン幾何学的性質を活用して収束を保証する。
• 2段階の最適化を実施：まず SubspaceDescent を用いて部分空間 $V^{(t)}$ を回復し、次に現在の部分空間上で RealignPolynomial を用いて多項式係数 $\mathbf{c}$ を再推定する。
• 部分空間誤差を追跡し、真の部分空間への収束を保証するために、新規のプロクラステスに基づく距離測度 $d_P(V, V^*)$ を導入する。
• マルティングル・濃縮不等式とエルミート多項式展開を用いて、勾配推定の誤差を制御し、高確率での収束保証を確保する。
• 部分空間の精度に応じて動的に適応する終了条件を設計し、部分空間が十分に近い場合に、さらなる精緻化を行わずに早期に終了するようにする。

実験結果

リサーチクエスチョン

• RQ1 真の多項式が $r \ll n$ 個の関連次元にのみ依存する場合、高次元空間の次元 $n$ に対してサンプルおよび実行時間の複雑性が二次関数より小さい多項式回帰が可能か？
• RQ2 リンク関数が低次の多項式であるという仮定の下で、分布的仮定を除き、ガウス型共 variate の下で低ランク多項式の効率的学習が可能か？
• RQ3 1つのアルゴリズムフレームワークを用いて、同時に隠れた部分空間 $U^*$ とリンク多項式 $p$ を高精度で回復できるか？
• RQ4 低ランク多項式回帰の文脈において、サンプル複雑性、実行時間、精度の最適なトレードオフは何か？
• RQ5 リーマン多様体上の地表面的SGDは、高次元データにおける低次元部分空間の回復に、理論的収束保証とともに効果的に用いられるか？

主な発見

• 提案手法は、サンプル複雑性 $O_{r,d}(n\log^2(1/\epsilon)(\log n)^d)$ を達成し、$n$ に対して多項式的で、$n^d$ に依存しない。これは標準的な $n^d$ 複雑性と比べ顕著に改善されている。
• 実行時間は $O_{r,d}(Nn^2)$ であり、$N$ はサンプル複雑性である。$r$ が小さく、$d$ が中程度の場合は効率的である。
• 推定された部分空間 $V^{(T)}$ が高確率で $d_P(V^{(T)}, V^*) \leq \epsilon$ を満たすことが保証され、$T = \alpha^{-1} \log(1/\epsilon)$ 回の反復で達成される。
• $T$ 回の反復後に、リンク多項式の係数ベクトル $\mathbf{c}$ は $\|\mathbf{c}^{(T)} - \mathbf{c}^*\|_2 \leq \epsilon$ の範囲内に推定され、多項式の正確な回復が保証される。
• 局所的な滑らかさとリーマン最適化の地形の曲率解析を用いて理論的保証を確立し、勾配推定の高確率濃縮バウンドを導出する。
• 初期値に依存しないロバスト性がある：初期部分空間が $V^*$ に近くなくても、アルゴリズムは線形レート $1 - \alpha$ で真の部分空間に収束する。ここで $\alpha$ は条件数および問題パラメータに依存する。