[論文レビュー] Statistical-Query Lower Bounds via Functional Gradients

Surbhi Goel, Aravind Gollakota+1 more|arXiv (Cornell University)|Jun 29, 2020

Machine Learning and Algorithms参考文献 34被引用数 13

ひとこと要約

本稿は、非多項式活性化関数（例：ReLU、シグモイド、ハーフスペース）をガウス周辺分布下でアンタゴニスティックに学習するための、最初の統計的クエリ（SQ）下界を確立した。新規の関数的勾配ブースティングフレームワークを用いて、指数的クエリ複雑度下界を証明し、任意のSQアルゴリズムが、超多項式のクエリ数を用いるか、極めて小さな許容誤差を要求する必要があることを示した。これにより、これらの問題に対する効率的な一般SQ学習が排除された。

ABSTRACT

We give the first statistical-query lower bounds for agnostically learning any non-polynomial activation with respect to Gaussian marginals (e.g., ReLU, sigmoid, sign). For the specific problem of ReLU regression (equivalently, agnostically learning a ReLU), we show that any statistical-query algorithm with tolerance $n^{-(1/ε)^b}$ must use at least $2^{n^c} ε$ queries for some constant $b, c > 0$, where $n$ is the dimension and $ε$ is the accuracy parameter. Our results rule out general (as opposed to correlational) SQ learning algorithms, which is unusual for real-valued learning problems. Our techniques involve a gradient boosting procedure for "amplifying" recent lower bounds due to Diakonikolas et al. (COLT 2020) and Goel et al. (ICML 2020) on the SQ dimension of functions computed by two-layer neural networks. The crucial new ingredient is the use of a nonstandard convex functional during the boosting procedure. This also yields a best-possible reduction between two commonly studied models of learning: agnostic learning and probabilistic concepts.

研究の動機と目的

• ガウス周辺分布下で、ReLU、シグモイド、符号関数などの非多項式活性化関数をアンタゴニスティックに学習するための、最初の統計的クエリ（SQ）下界を確立すること。
• 従来のSQ下界が相関クエリやリプシッツクエリに制限されていたのを克服し、一般の統計的クエリに対して有効な結果を証明すること。
• 2層ニューラルネットワークの既存のSQ次元下界を拡大する関数的勾配ブースティング手順を開発すること。
• アンタゴニスティック学習と確率的概念の間の、最良の可能な還元を確立し、学習理論における2つの中心的モデルを結びつけること。
• ReLUおよびシグモイド回帰について、タイトな上界と下界を提供し、SQ効率の限界を示すこと。

提案手法

• Diakonikolasら、Goelらの先行研究におけるSQ次元下界を拡大するため、勾配ブースティング手順に標準的でない凸関数的汎関数を導入する。
• ヘルメート多項式展開を用いて目的関数を近似し、統計的クエリを用いて許容誤差τ内で係数を推定する。
• コーシー＝シュワルツ不等式およびノルム濃度の議論を適用し、推定された仮説と真の仮説との相関における誤差を制限する。
• 正規化された仮説pを、切断されたヘルメート近似から構築し、有界なノルムを保ちつつ相関の保証を維持する。
• 許容誤差τと精度εとの関係を関係づけることで、クエリ複雑度下界を導出する。τが小さいか、クエリ数が多いことは避けられないことを示す。
• アンタゴニスティック学習と確率的概念の間の還元を確立し、新しいフレームワーク下でSQ複雑度が等価であることを示す。

実験結果

リサーチクエスチョン

• RQ1 一般の統計的クエリアルゴリズムは、ガウス周辺分布下でReLU関数を効率的に学習できるか？
• RQ2 ガウス入力下で、ReLUやシグモイドのような非多項式活性化関数をアンタゴニスティックに学習する際の、本質的クエリ複雑度は何か？
• RQ3 クエリタイプ（例：相関クエリやリプシッツクエリなど）に制限を設けずに、実数値学習問題におけるSQ下界を確立できるか？
• RQ4 ガウス周辺分布下で、ReLU、シグモイド、ハーフスペース学習のSQ複雑度はどのように比較できるか？
• RQ5 統計的クエリモデルにおいて、アンタゴニスティック学習と確率的概念の間にはタイトな関係があるか？

主な発見

• ReLU回帰に関して、許容誤差τ = n^(-(1/ε)^b) である任意のSQアルゴリズムは、定数b,c > 0に対して、少なくとも2^{n^c}εのクエリを必要とし、指数的下界を確立する。
• シグモイド活性化関数に関しては、許容誤差τ = n^{-Θ(log²1/ε)} のとき、クエリ複雑度は少なくとも2^{n^c}εである。これは、対数的要因を除いて、既知の最良の上界と一致する。
• ハーフスペースに関しては、ガウス周辺分布下で、初めての指数的SQ下界を証明した。τ = n^{-Θ(1/ε)} の場合、2^{n^c}εのクエリが必要である。
• これらの結果により、ReLU、シグモイド、ハーフスペースに対する一般SQ学習アルゴリズムの存在が排除された。これは、多くの既存のSQ下界がクエリ制限を要していたのとは異なり、特筆すべきことである。
• このフレームワークにより、アンタゴニスティック学習と確率的概念の間の最良の可能な還元が得られ、SQ複雑度が等価であることが示された。
• ReLUおよびシグモイド学習の上界は、下界にほぼ一致しており、導出されたクエリ複雑度が対数的要因を除いてタイトであることが示された。