[論文レビュー] Computationally and Statistically Efficient Truncated Regression

Constantinos Daskalakis, Themis Gouleakis+2 more|arXiv (Cornell University)|Oct 22, 2020

Stochastic Gradient Optimization Techniques被引用数 11

ひとこと要約

この論文は、切り捨てられた標本の負の対数尤度に対して、置換なしのProjected Stochastic Gradient Descent (PSGD)を用いて、計算的・統計的に効率的な推定量を提示する。共変数の厚さ仮定と、切断集合 $S$ に対するオラクルアクセスがある場合、$ \ell_2$ 誤差は $\tilde{O}(\sqrt{k/n})$ に達し、最適な統計的レートを達成するとともに、凸錐上の強い凸性により計算的効率性を保証する。

ABSTRACT

We provide a computationally and statistically efficient estimator for the classical problem of truncated linear regression, where the dependent variable $y = w^T x + ε$ and its corresponding vector of covariates $x \in R^k$ are only revealed if the dependent variable falls in some subset $S \subseteq R$; otherwise the existence of the pair $(x, y)$ is hidden. This problem has remained a challenge since the early works of [Tobin 1958, Amemiya 1973, Hausman and Wise 1977], its applications are abundant, and its history dates back even further to the work of Galton, Pearson, Lee, and Fisher. While consistent estimators of the regression coefficients have been identified, the error rates are not well-understood, especially in high dimensions. Under a thickness assumption about the covariance matrix of the covariates in the revealed sample, we provide a computationally efficient estimator for the coefficient vector $w$ from $n$ revealed samples that attains $l_2$ error $ ilde{O}(\sqrt{k/n})$. Our estimator uses Projected Stochastic Gradient Descent (PSGD) without replacement on the negative log-likelihood of the truncated sample. For the statistically efficient estimation we only need oracle access to the set $S$.In order to achieve computational efficiency we need to assume that $S$ is a union of a finite number of intervals but still can be complicated. PSGD without replacement must be restricted to an appropriately defined convex cone to guarantee that the negative log-likelihood is strongly convex, which in turn is established using concentration of matrices on variables with sub-exponential tails. We perform experiments on simulated data to illustrate the accuracy of our estimator. As a corollary, we show that SGD learns the parameters of single-layer neural networks with noisy activation functions.

研究の動機と目的

• 切り捨てられた線形回帰のための、計算的に効率的かつ統計的に最適な推定量を開発すること。ここで、観測されるのは応答変数が集合 $S \subseteq \mathbb{R}$ に属するサンプルに限られる。
• 従来の手法が統計的整合性を示す一方で計算的保証を欠いていた、切り捨て回帰における効率的推定という長年の課題に取り組むこと。
• データの切り捨てられた尤度関数に対する置換なしのProjected SGDが、共変数と切断集合 $S$ に対する弱い仮定のもとで、最適な $\ell_2$ 誤差レートを達成することを確立すること。
• 単層ニューラルネットワークのパラメータを、線形に多くのサンプルを用いて、正当に学習できる枠組みを拡張すること。

提案手法

• 方法は、切り捨てられた標本の負の対数尤度に対して、強い凸性を保証するための凸錐に制限された、置換なしのProjected Stochastic Gradient Descent (PSGD)を用いる。
• 強い凸性は、サブ指数的尾部を示す確率的行列の集中を用いて確立され、これは観測された共変数の共分散行列に対する厚さ仮定に依存する。
• アルゴリズムは、切断集合 $S$ に対してオラクルアクセスを仮定しており、これは任意の有限個の区間の和集合として定義可能であり、複雑な切断パターンのモデリングにおける柔軟性を提供する。
• 負の対数尤度は、推定係数ベクトルがデータ構造と切断集合から導かれる凸錐内に位置する制約のもとで最小化される。
• ノイズのあるReLU活性化関数を有する単層ニューラルネットワークの学習へと拡張するため、ノイズのあるReLU活性化問題を切り捨て回帰タスクに再定式化する。
• 理論的保証は、高確率的集中不等式とサブ指数的確率変数に対する行列集中不等式を用いて導出される。

実験結果

リサーチクエスチョン

• RQ1 弱い仮定のもとで、計算的に効率的なアルゴリズムが、切り捨てられた線形回帰において最適な $\ell_2$ 誤差レート $\tilde{O}(\sqrt{k/n})$ を達成できるか？
• RQ2 切り捨てられたデータの負の対数尤度に対して、置換なしのProjected SGDが、凸錐に制限された場合に強い凸性と収束保証を満たすか？
• RQ3 提案手法を、線形に多くのサンプルを用いて、ノイズのあるReLU活性化関数を有する単層ニューラルネットワークのパラメータを正当に学習できるように拡張できるか？
• RQ4 統計的・計算的効率性を保証するために、切断集合 $S$ と共変数の分布に必要な最小限の仮定は何か？

主な発見

• 共変数の厚さ仮定と、切断集合 $S$ に対するオラクルアクセスがある場合、提案推定量は $\ell_2$ 誤差 $\tilde{O}(\sqrt{k/n})$ を達成する。
• 方法は、データ構造から導かれる凸錐に制限された置換なしのPSGDを用い、その収束はこの凸錐上の強い凸性によって保証される。
• $S$ が $r$ 個の部分区間の和集合である場合、アルゴリズムは多項式時間で実行可能であり、複雑な切断パターンに対しても計算的効率性が保証される。
• この枠組みにより、ノイズのあるReLU活性化関数を有する単層ニューラルネットワークの正当な学習が可能となり、高確率で誤差境界 $\mathrm{poly}(1/a) \cdot \frac{BC}{b^2} \cdot \sqrt{\frac{k}{n}\log n}$ を達成する。
• 合成データに対する実験では、OLSが切り捨てによるバイアスを正しく補正できず、提案手法は真の係数ベクトルに最適な $1/\sqrt{n}$ のレートで収束することが示された。
• 特に、OLSが速やかに収束するが、敵対的切断（例：$y > 4$ のみを保持）の下では、提案手法はOLSを上回るバイアス補正性能を示した。