[論文レビュー] Learning from Untrusted Data

Moses Charikar, Jacob Steinhardt+1 more|arXiv (Cornell University)|Nov 7, 2016

Machine Learning and Algorithms参考文献 35被引用数 7

ひとこと要約

本稿は、信頼できるデータがわずかα程度にとどまるデータセットからの正確な推定と最適化を可能にする2つのロバストな学習フレームワーク——リスト・デコード可能学習と準検証付き学習——を導入する。信頼できるデータの割合αが小さくても、効率的なアルゴリズムが短い仮説リスト（poly(1/α)）を出力するか、小さな信頼できるデータセットを活用して大規模な信頼できないデータから正確な情報を抽出し、敵対的ノイズ下でもロバストな平均推定、混合モデル学習、グラフ分割に強い理論的保証を達成する。

ABSTRACT

The vast majority of theoretical results in machine learning and statistics assume that the available training data is a reasonably reliable reflection of the phenomena to be learned or estimated. Similarly, the majority of machine learning and statistical techniques used in practice are brittle to the presence of large amounts of biased or malicious data. In this work we consider two frameworks in which to study estimation, learning, and optimization in the presence of significant fractions of arbitrary data. The first framework, list-decodable learning, asks whether it is possible to return a list of answers, with the guarantee that at least one of them is accurate. For example, given a dataset of $n$ points for which an unknown subset of $αn$ points are drawn from a distribution of interest, and no assumptions are made about the remaining $(1-α)n$ points, is it possible to return a list of $\operatorname{poly}(1/α)$ answers, one of which is correct? The second framework, which we term the semi-verified learning model, considers the extent to which a small dataset of trusted data (drawn from the distribution in question) can be leveraged to enable the accurate extraction of information from a much larger but untrusted dataset (of which only an $α$-fraction is drawn from the distribution). We show strong positive results in both settings, and provide an algorithm for robust learning in a very general stochastic optimization setting. This general result has immediate implications for robust estimation in a number of settings, including for robustly estimating the mean of distributions with bounded second moments, robustly learning mixtures of such distributions, and robustly finding planted partitions in random graphs in which significant portions of the graph have been perturbed by an adversary.

研究の動機と目的

• 信頼できる訓練データの割合αが非常に小さい（特にα < 1/2のとき）にもかかわらず、信頼性の高い学習を実現する課題に対処すること。
• 正解が唯一であるという要件を短い候補リストに緩和することで、敵対的またはバイアスのかかったデータが存在する状況でも正確な学習が可能かどうかを調査すること。
• 小さな信頼できるデータセットを用いて、はるかに大きな信頼できないデータセットから正確な情報を抽出する方法を検討し、スケーラブルなロバストな学習を実現すること。
• データ品質に関する仮定を最小限に抑えた高次元設定下でのロバスト推定の理論的基盤を提供すること。
• 混合モデル推定、有界分散下の平均推定、敵対的摂動下のグラフ分割といった実用的問題へのロバストな学習の適用を拡張すること。

提案手法

• リスト・デコード可能学習モデルを導入し、目的は真のパラメータとε以内の仮説を含む、高々poly(1/α)個の仮説リストを出力することである。
• 幾何的および濃度に基づく議論を用いて、信頼できないデータが分布を著しく歪める場合、それがクラスタリングやモーメントベース手法によって識別・分離可能であることを示す。
• 小さな信頼できるデータセットと大きな信頼できないデータセットを組み合わせる準検証付き学習モデルを提案し、信頼できるデータを用いて信頼できない部分からの推定を補正または検証する。
• 敵対的ノイズ下でもロバストな学習を可能にする一般化された確率的最適化フレームワークを開発し、部分ガウス型尾部境界と行列逆行列恒等式を活用する。
• ウッドベリー行列恒等式とモーメント境界を用いて、対数尤度比の下界を導出し、ロバスト推定の十分条件を導出する。
• 部分ガウス型尾部仮定とモーメント母関数の境界を用いて、二乗部分ガウス型変数の分散を制御し、Y = Z² − E[Z²] が分散代理16σ⁴の部分ガウス型であることを証明する。

実験結果

リサーチクエスチョン

• RQ1 真の分布から抽出されたデータの割合αが非常に小さい状況でも、正確な推定が可能かどうか。
• RQ2 α ≪ 1/2であっても、少なくとも1つの仮説が正確であるような短い仮説リストを出力できる効率的アルゴリズムを設計可能かどうか。
• RQ3 小さな信頼できるデータセットを用いて、はるかに大きな信頼できないデータセットから正確な学習を可能にする程度はどの程度か。
• RQ4 第二モーメントの仮定のみで、定数割合のデータが汚染されている状況下でもロバストな平均推定が可能かどうか。
• RQ5 敵対的エッジ摂動下でも、ランダムグラフにおける埋め込みパーティションの特定にロバストな学習をどのように応用できるか。

主な発見

• 本稿は、α ≪ 1/2であっても、真のパラメータとε以内の仮説を含むpoly(1/α)サイズのリストを計算可能であることを示し、ロバストな学習が可能であることを確立した。
• 有界第二モーメント下のロバストな平均推定において、提案手法はαに比例する適切な誤差境界を達成し、敵対的汚染下でも有効である。
• 準検証付き学習モデルにより、小さな信頼できるサブセットを用いて大規模な信頼できないデータセットから正確な情報を抽出可能であり、誤差とサンプル複雑度に関する理論的保証が得られる。
• 混合モデルのロバストな学習を可能にするフレームワークを提供し、一方の成分を真のデータ、他の成分を信頼できないデータとして扱うことで、i.i.d.仮定下の性能に近い結果を得た。
• グラフ分割において、敵対的摂動下でも埋め込みパーティションを同定できるロバストネスを達成した。
• 技術的貢献として、平均で中心化された部分ガウス型確率変数の二乗が、分散代理16σ⁴の部分ガウス型であることを証明した。これにより、解析におけるより緊密な濃度境界が可能になった。