[論文レビュー] Cryptographic Hardness of Learning Halfspaces with Massart Noise

Ilias Diakonikolas, Daniel M. Kane+2 more|arXiv (Cornell University)|Jul 28, 2022

Machine Learning and Algorithms被引用数 5

ひとこと要約

本論文は、LWE問題の部分指数時間での困難性を仮定することで、Massartノイズ下でのPAC学習における半空間の計算的硬さを初めて確立した。その結果、最適誤差OPTが指数的に小さい場合でも、任意の多項式時間アルゴリズムは誤差をΩ(η)未満にすることはできない。この結果は、既知の効率的アルゴリズムが誤差保証の観点からほぼ最適であることを示している。

ABSTRACT

We study the complexity of PAC learning halfspaces in the presence of Massart noise. In this problem, we are given i.i.d. labeled examples $(\mathbf{x}, y) \in \mathbb{R}^N imes \{ \pm 1\}$, where the distribution of $\mathbf{x}$ is arbitrary and the label $y$ is a Massart corruption of $f(\mathbf{x})$, for an unknown halfspace $f: \mathbb{R}^N o \{ \pm 1\}$, with flipping probability $η(\mathbf{x}) \leq η< 1/2$. The goal of the learner is to compute a hypothesis with small 0-1 error. Our main result is the first computational hardness result for this learning problem. Specifically, assuming the (widely believed) subexponential-time hardness of the Learning with Errors (LWE) problem, we show that no polynomial-time Massart halfspace learner can achieve error better than $Ω(η)$, even if the optimal 0-1 error is small, namely $\mathrm{OPT} = 2^{-\log^{c} (N)}$ for any universal constant $c \in (0, 1)$. Prior work had provided qualitatively similar evidence of hardness in the Statistical Query model. Our computational hardness result essentially resolves the polynomial PAC learnability of Massart halfspaces, by showing that known efficient learning algorithms for the problem are nearly best possible.

研究の動機と目的

• 機械学習理論における長年の未解決問題である、Massartノイズ下での半空間のPAC学習の計算複雑性を解明すること。
• ノイズ率ηが1/2から離れているが、最適誤差OPTが指数的に小さい場合に、半空間の学習における計算的硬さの境界を確立すること。
• 既知の効率的アルゴリズムが誤差≈ηを達成できることを示し、Ω(η)未満の誤差を改善することは標準暗号的仮定のもとで計算的に不可能であることを証明することで、それらのアルゴリズムが誤差保証の観点からほぼ最適であることを示すこと。
• 特に線形しきい値関数に対して、Massartノイズモデルにおける統計的学習と計算的学習の複雑性のギャップを埋めること。

提案手法

• 学習におけるMassart半空間の計算的硬さを、Learning with Errors (LWE) 問題の部分指数時間での困難性に還元する。
• 真の半空間の最適誤差が指数的に小さいが、任意の効率的学習者が必要とする誤差がΩ(η)であるようなラベル付き例の分布を構築する。
• 低次の多項式しきい値関数（PTF）を線形しきい値関数（LTF）に変換するためのVeronese埋め込みを用い、ノイズ構造を保持する。
• null仮説とalternative仮説を両方シミュレートできる、巧みに設計されたLWEベースの分布を用いることで、計算還元を可能にする。
• 集中不等式（Hoeffdingの不等式）を用いて、構築された分布がノイズ率が有界な有効なMassart分布と統計的に近いことを示す。
• 分布間の全 Variation 距離を用いて、任意の効率的学習者が困難なインスタンスと良性なインスタンスを非無視的優位性で区別できないように保証する。

実験結果

リサーチクエスチョン

• RQ1 最適誤差OPTが指数的に小さい場合でも、効率的PAC学習アルゴリズムはMassartノイズ下でηより著しく良い誤差を達成できるか？
• RQ2 最適誤差に近い誤差を達成する多項式時間学習者が、情報理論的最適値に近い誤差を達成できない計算的障壁は存在するか？
• RQ3 LWE問題の部分指数時間での困難性は、Massartノイズ下での半空間学習の計算的非可解性を意味するか？
• RQ4 誤差≈ηを達成する既知の多項式時間アルゴリズムは、誤差保証の観点からMassart半空間学習においてほぼ最適であるか？

主な発見

• Learning with Errors (LWE) 問題の部分指数時間での困難性を仮定すると、Massart半空間学習において任意の多項式時間アルゴリズムは誤差をΩ(η)未満にすることはできない。
• 最適0-1誤差が任意の普遍定数c∈(0,1)に対して2^{-log^c(N)}未満であっても、効率的学習者は誤差をΩ(η)未満にできない。
• 計算的硬さの結果は、既知の効率的アルゴリズムの誤差保証と一致しており、それらがほぼ最適であることを示している。
• 還元により、η未満の誤差を改善することは標準暗号的仮定のもとで計算的に不可能であることが示され、長年の未解決問題が解決された。
• 半空間のMassartノイズモデルにおいて、統計的学習と計算的学習の複雑性の強い分離が確立された。
• 硬さフレームワークは広範な分布クラスに適用可能であり、効率的学習における誤差境界ηが本質的にタイトであることが示された。