[論文レビュー] Learning Halfspaces with Massart Noise Under Structured Distributions

Ilias Diakonikolas, Vasilis Kontonis+2 more|arXiv (Cornell University)|Feb 13, 2020

Machine Learning and Algorithms参考文献 35被引用数 7

ひとこと要約

本稿では、log-concave分布を含む広範な構造的分布上でのMassartノイズ下における半空間学習のための、計算的に効率的なアルゴリズムを初めて提示する。滑らかな非凸な代替損失関数を導入し、その近似的な停留点が正確な半空間を生成することを示し、弱い分布的仮定のもとで確率的勾配降下法（SGD）による収束を保証する。

ABSTRACT

We study the problem of learning halfspaces with Massart noise in the distribution-specific PAC model. We give the first computationally efficient algorithm for this problem with respect to a broad family of distributions, including log-concave distributions. This resolves an open question posed in a number of prior works. Our approach is extremely simple: We identify a smooth {\em non-convex} surrogate loss with the property that any approximate stationary point of this loss defines a halfspace that is close to the target halfspace. Given this structural result, we can use SGD to solve the underlying learning problem.

研究の動機と目的

• 一般の構造的分布（例：log-concave分布）の下で、Massartノイズ付き半空間学習の多項式時間アルゴリズムを設計するという未解決問題に取り組む。
• log-concave周辺分布下でのMassartノイズに対して、多項式時間 $\mathrm{poly}(d, 1/\varepsilon, 1/(1-2\eta))$ のアルゴリズムが存在するかどうかという長年の未解決問題を解消する。
• データ分布の反濃度性および尾部バウンド条件を満たす場合に、計算的に効率的な解決策を提供する。
• 非凸損失関数の近似的な停留点と真の半空間への近接性との間の構造的関係を確立する。
• 次元 $d$、逆精度 $\varepsilon$ に対して、標本および実行時間の複雑さが多項式的にスケーリングされる高精度な学習を達成する。

提案手法

• 半空間学習の0-1損失を近似するシグモイド型活性化関数に基づく滑らかな非凸代替損失関数 $\mathcal{L}_{\sigma}(\mathbf{w})$ を提案する。
• この損失関数の任意の近似的な停留点が、真の半空間 $\mathbf{w}^*$ と小さな角度 $\theta(\mathbf{w}, \mathbf{w}^*)$ をなす重みベクトル $\mathbf{w}$ を生成することを証明し、低誤差を保証する。
• 射影確率的勾配降下法（PSGD）を用いて代替損失を最適化し、適切に選ばれたステップサイズ $\beta$、学習率スケジュール、およびスムージングパラメータ $\sigma$ を使用する。
• SGDの履歴から候補となる重みベクトルのリスト $L$ を構築し、小さなホールドアウト標本上で経験的リスク最小化により最良の仮説を選択する。
• 元の分布の濃度および反濃度の性質を活用して勾配ノルムをバウンドし、良い解への収束を保証する。
• 代替損失関数のリプシッツ連続性および有界な勾配ノルムを確立し、SGD収束保証の適用を可能にする。

実験結果

リサーチクエスチョン

• RQ1 周辺分布がlog-concaveまたはより一般的な構造的分布である場合に、Massartノイズ下で計算的に効率的な半空間学習アルゴリズムを設計できるか。
• RQ2 そのような代替損失関数が存在し、その近似的な停留点が真の半空間と角度で近接する半空間を生成できるか。
• RQ3 分布的制約のもとで、確率的勾配降下法がそのような停留点を効率的に見つけられるか。
• RQ4 Massartノイズ下での効率的学習に必要な最小限の分布的仮定（例：反濃度性、尾部バウンド）は何か。
• RQ5 提案手法が次元 $d$、精度 $\varepsilon$、ノイズレベル $\eta$ に対して多項式時間および多項式標本複雑さを達成するか。

主な発見

• 提案アルゴリズムは、$O(d \cdot t^8(\epsilon/2) \cdot \log(1/\delta) / \epsilon^4)$ 回のSGDステップで、高確率で $\varepsilon$-誤差を達成する。ここで $t(\cdot)$ は分布の性質を捉える。
• アルゴリズムは $d$、$1/\varepsilon$、$1/(1-2\eta)$ に対して多項式時間で実行され、log-concave分布下でのそのようなアルゴリズムの存在という未解決問題を解決する。
• 反濃度性および尾部バウンドを満たす広範な構造的分布族に対して有効であり、一様分布や球面分布を超える一般化を達成する。
• 主な構造的洞察は、非凸代替損失 $\mathcal{L}_{\sigma}(\mathbf{w})$ の任意の近的停留点が、真の半空間と $O(\epsilon/(U t^2(\epsilon/2)))$ の角距離内に位置することである。
• 最終的な仮説は、$O(\log(T/\delta)/\epsilon^2)$ 個の標本上で経験的リスク最小化により、SGDの反復履歴から構築されたリスト $L$ から選択され、高確率で低い超過誤差を達成する。
• アルゴリズムの標本および実行時間の複雑さは $\mathrm{poly}(d, 1/\varepsilon, 1/(1-2\eta))$ でバウンドされ、log-concave周辺分布下でのMassartノイズに対する多項式時間解の存在を確認する。