[論文レビュー] A General Method for Robust Learning from Batches

Ayush Jain, Alon Orlitsky|arXiv (Cornell University)|Jan 1, 2020

Machine Learning and Algorithms被引用数 1

ひとこと要約

本稿は、一部が汚染されたり敵対的である可能性のあるデータバッチからのロバストな学習のための一般枠組みを導入する。任意のドメインにおける分布推定および分類の理論的限界を確立し、区分的区間分類および多項式、単調、対数凹型、ガウス・ミックス・モデルなど、さまざまな構造的分布クラスに対する、初めての計算的に効率的でロバストなアルゴリズムを導出する。

ABSTRACT

In many applications, data is collected in batches, some of which are corrupt or even adversarial. Recent work derived optimal robust algorithms for estimating discrete distributions in this setting. We consider a general framework of robust learning from batches, and determine the limits of both classification and distribution estimation over arbitrary, including continuous, domains. Building on these results, we derive the first robust agnostic computationally-efficient learning algorithms for piecewise-interval classification, and for piecewise-polynomial, monotone, log-concave, and gaussian-mixture distribution estimation.

研究の動機と目的

• データがバッチ形式で収集される状況下で、ロバストな学習のための一般枠組みを開発すること。
• 連続的ドメインを含む、任意のドメインにおけるロバストな分布推定および分類の理論的限界を特定すること。
• 区分的区間分類のための、初めての計算的に効率的でロバストな学習アルゴリズムを設計すること。
• 区分的多項式、単調、対数凹型、ガウス・ミックス・モデルなどの構造的分布クラスへのロバストな学習を拡張すること。

提案手法

• 敵対的または汚染されたサンプルを含むバッチデータのための一般ロバスト学習枠組みを提案する。
• バッチレベルの汚染が存在する状況下での分布推定および分類の理論的ミニマックス境界を導出する。
• 近似的に最適なロバスト性を達成する計算的に効率的なアルゴリズムを構築するために最適化技術を適用する。
• 構造的仮定（例：区分的多項式、単調性、対数凹型）を活用して、効率的かつロバストな推定を可能にする。
• 離散的および連続的ドメインの両方を統一的に扱う一貫したアプローチを導入する。
• 敵対的バッチ汚染下での最悪ケースリスクを最小化するロバスト統計推定器を採用する。

実験結果

リサーチクエスチョン

• RQ1 データが汚染されたり敵対的バッチで収集される場合、分布推定および分類の根本的限界は何か？
• RQ2 バッチレベルの汚染が存在する状況下で、最適なロバスト性を達成する計算的に効率的なアルゴリズムはどのように設計できるか？
• RQ3 区分的多項式やガウス・ミックスなど、構造的分布クラスへのロバストな学習は、計算的に実行可能に拡張できるか？
• RQ4 連続的ドメインにおけるロバスト学習に対して、どのような理論的保証を確立できるか？
• RQ5 構造的仮定（例：単調性、対数凹型）は、どのように効率的でロバストな推定を可能にするか？

主な発見

• 本稿は、分類および分布推定の両方において、バッチからのロバストな学習のための、初めての理論的ミニマックス下界を確立した。
• 区分的区間分類のための、初めての計算的に効率的でロバストなアルゴリズムを提示し、最適なロバスト性保証を達成した。
• ロバスト推定は、区分的多項式、単調、対数凹型、ガウス・ミックス・モデルを含む構造的分布へと拡張された。
• 提案されたアルゴリズムは、敵対的バッチ汚染下で近似的に最適な誤差率を達成し、理論的下界と一致した。
• この枠組みは、離散的および連続的ドメインの両方に対して一貫して適用可能であり、構造的仮定に基づくロバスト学習を統一した。
• 結果は、構造的制約がロバスト学習のサンプル複雑度を顕著に低減するとともに、敵対的耐性を維持できることを示している。