[論文レビュー] Classification Under Misspecification: Halfspaces, Generalized Linear Models, and Connections to Evolvability

Sitan Chen, Frederic Koehler+2 more|arXiv (Cornell University)|Jun 8, 2020

Machine Learning and Algorithms参考文献 55被引用数 9

ひとこと要約

本稿は、Massartノイズ下での半空間学習のための単純で適切な学習アルゴリズムを提示し、最適な分類器の誤差からη+ε以内の誤差を達成する。また、複雑なモデルを堅牢で公平な半空間に変換する、画期的な知識蒸留フレームワークを導入している。最適な学習のための初の超多項式統計的クエリ下界を確立し、頑健性と進化可能性（evolvability）を結びつけ、強力な経験的公平性特性を示している。

ABSTRACT

In this paper we revisit some classic problems on classification under misspecification. In particular, we study the problem of learning halfspaces under Massart noise with rate $η$. In a recent work, Diakonikolas, Goulekakis, and Tzamos resolved a long-standing problem by giving the first efficient algorithm for learning to accuracy $η+ ε$ for any $ε> 0$. However, their algorithm outputs a complicated hypothesis, which partitions space into $ ext{poly}(d,1/ε)$ regions. Here we give a much simpler algorithm and in the process resolve a number of outstanding open questions: (1) We give the first proper learner for Massart halfspaces that achieves $η+ ε$. We also give improved bounds on the sample complexity achievable by polynomial time algorithms. (2) Based on (1), we develop a blackbox knowledge distillation procedure to convert an arbitrarily complex classifier to an equally good proper classifier. (3) By leveraging a simple but overlooked connection to evolvability, we show any SQ algorithm requires super-polynomially many queries to achieve $\mathsf{OPT} + ε$. Moreover we study generalized linear models where $\mathbb{E}[Y|\mathbf{X}] = σ(\langle \mathbf{w}^*, \mathbf{X} angle)$ for any odd, monotone, and Lipschitz function $σ$. This family includes the previously mentioned halfspace models as a special case, but is much richer and includes other fundamental models like logistic regression. We introduce a challenging new corruption model that generalizes Massart noise, and give a general algorithm for learning in this setting. Our algorithms are based on a small set of core recipes for learning to classify in the presence of misspecification. Finally we study our algorithm for learning halfspaces under Massart noise empirically and find that it exhibits some appealing fairness properties.

研究の動機と目的

• Massartノイズ下での半空間学習における長年の未解決問題を解決すること、特に最適な誤差保証を持つ適切な学習アルゴリズムの欠如という点に焦点を当てる。
• 任意の複雑な分類器を、同等の精度で適切な半空間に変換するブラックボックス知識蒸留手順を開発すること。
• 半空間学習における最適誤差を達成するための統計的クエリ下界を初めて確立すること。学習可能性と進化可能性（evolvability）の概念を結びつける。
• ロジスティック回帰を含む、奇関数で単調かつLipschitz連続なリンク関数を持つより包括的な一般化線形モデル（GLMs）へのMassartノイズモデルの一般化。
• UCI Adultなどの実世界のデータセットを用いて、特に人種的・性的・国籍的属性が汚染されたデータ下で、提案手法の公平性と頑健性を経験的に検証すること。

提案手法

• 入力空間の多項式的領域に分割することなく、単一の線形しきい値関数（線形しきい値関数）を出力する、単純な新しいアルゴリズムを提案。Massartノイズ下での半空間学習に適した適切な仮説を生成する。
• 現在の仮説が不良に動作する入力空間の領域を特定・是正するコア技術を用い、誤分類パターンを検出するために統計的クエリを活用する。
• 奇関数で単調かつL-Lipschitz連続なσについて、E[Y|X] = σ(⟨w*, X⟩)を満たす、Massartノイズの一般化された汚染モデルを導入。これにより、より広範な適用性が得られる。
• 任意の分類器（不適切なものでさえも）を、同等のテスト精度を維持したまま、適切な半空間に変換するブラックボックス知識蒸留手法を開発。
• 最適誤差を達成する難易度と進化可能性（evolvability）の概念との理論的関係を確立し、これにより超多項式統計的クエリ下界を導出する。
• UCI Adultデータセットを用いて、人種・性別・国籍などの属性に標的的なMassartノイズを適用した状況下で、アルゴリズムの性能を経験的に評価。モデル間での公平性と精度を比較。

実験結果

リサーチクエスチョン

• RQ1 入力空間をpoly(d,1/ε)個の領域に分割することなく、任意のε>0に対して誤差η+εを達成する、適切な半空間学習アルゴリズムを設計できるか？
• RQ2 任意の複雑な分類器を、同等の予測精度を維持したまま、適切な半空間に変換するブラックボックス知識蒸留手順を構築できるか？
• RQ3 Massartノイズ下での半空間学習において、最適誤差（OPT+ε）を達成するための根本的な統計的クエリ複雑性の限界は何か？
• RQ4 提案手法は、データ汚染下でも、保護対象となる人種的・性的属性グループにおける誤って否定される割合（false negative rate）をどれほど低減できるか？
• RQ5 提案フレームワークは、任意の奇関数で単調かつLipschitz連続なリンク関数を持つ一般化線形モデルへ、どの程度一般化可能か？

主な発見

• 提案アルゴリズムは、適切な単一の線形しきい値関数を用いて、任意のε>0に対して誤差η+εを達成し、頑健学習分野における主要な未解決問題を解決した。
• 実際の応用において、本アルゴリズムは強力な公平性特性を示した。例えば、アフリカ系アメリカ人、女性、外国人など保護対象グループにおける誤って否定される割合が、ロジスティック回帰やReLUベースのネットワークと比較して顕著に低減された。
• 任意の分類器を、同等のテスト精度を維持したまま、適切な半空間に変換する知識蒸留手順を確立。これにより、頑健で解釈可能なモデルの構築が可能になった。
• 最適誤差（OPT+ε）を達成するための超多項式統計的クエリ下界を初めて確立。これにより、最適誤差を達成するには、超多項式のクエリを実行しなければならないことが示された。
• 理論的下界は、進化可能性（evolvability）という概念への新しい接続によって導出され、頑健性と学習可能性が計算複雑性と深く関連していることを示唆している。
• UCI Adultデータセットにおける経験的結果から、FilterTron（提案手法）は、人種的属性が削除された状態でも高い精度と公平性を維持しており、ロジスティック回帰やLeakyReluにおける勾配降下法よりも、汚染下での公平性指標で優れた性能を示した。