[論文レビュー] Learning from Survey Training Samples: Rate Bounds for Horvitz-Thompson Risk Minimizers

Stéphan Clémençon, Patrice Bertail+1 more|arXiv (Cornell University)|Oct 11, 2016

Statistical Methods and Inference参考文献 20被引用数 8

ひとこと要約

本稿は、訓練データの非一様包含確率を考慮するため、アンケート調査における経験的リスク最小化（ERM）理論を拡張する。Horvitz-Thompson（HT）リスク最小化法を導入し、訓練データにおける非一様包含確率を補正する。拒絶的サンプリング下でのHTリスク最小化法に対して、一般化率 $ O_{\mathbb{P}}((\kappa_N \log N / n)^{1/2}) $ を確立し、サンプリング設計を無視すると学習性能が著しく低下することを実験で検証した。

ABSTRACT

The generalization ability of minimizers of the empirical risk in the context of binary classification has been investigated under a wide variety of complexity assumptions for the collection of classifiers over which optimization is performed. In contrast, the vast majority of the works dedicated to this issue stipulate that the training dataset used to compute the empirical risk functional is composed of i.i.d. observations. Beyond the cases where training data are drawn uniformly without replacement among a large i.i.d. sample or modelled as a realization of a weakly dependent sequence of r.v.'s, statistical guarantees when the data used to train a classifier are drawn by means of a more general sampling/survey scheme and exhibit a complex dependence structure have not been documented yet. It is the main purpose of this paper to show that the theory of empirical risk minimization can be extended to situations where statistical learning is based on survey samples and knowledge of the related inclusion probabilities. Precisely, we prove that minimizing a weighted version of the empirical risk, refered to as the Horvitz-Thompson risk (HT risk), over a class of controlled complexity lead to a rate for the excess risk of the order $O_{\mathbb{P}}((κ_N (\log N)/n)^{1/2})$ with $κ_N=(n/N)/\min_{i\leq N}π_i$, when data are sampled by means of a rejective scheme of (deterministic) size $n$ within a statistical population of cardinality $N\geq n$, a generalization of basic {\it sampling without replacement} with unequal probability weights $π_i>0$. Extension to other sampling schemes are then established by a coupling argument. Beyond theoretical results, numerical experiments are displayed in order to show the relevance of HT risk minimization and that ignoring the sampling scheme used to generate the training dataset may completely jeopardize the learning procedure.

研究の動機と目的

• 非一様包含確率を伴う複雑なアンケート調査方式によって生成された訓練データに、経験的リスク最小化（ERM）理論を拡張すること。
• Horvitz-Thompson重み付けを用いてアンケート標本で訓練されたリスク最小化法の非漸近的一般化バインディングを確立すること。
• 訓練データにおけるサンプリング設計を無視すると学習性能が著しく低下することを示すこと。
• 拒絶的サンプリングにおける理論的保証が、カップリング論法を用いて他のサンプリング方式へと拡張可能であることを示すこと。
• 実世界のアンケートデータセットを用いた実験を通じて、実証的妥当性を提供すること。

提案手法

• 非一様包含確率を補正するため、逆包含確率を重みとして用いるHorvitz-Thompson（HT）リスクと呼ばれる重み付き経験的リスク関数を提案する。
• 複雑さが制御された分類器のクラス上でERMを分析し、標準的な経験的リスクの代わりにHTリスクを最小化する。
• 拒絶的サンプリング（非一様確率での無作為抽出の一般化）下で、負に相関する確率変数の性質を用いて一般化バインディングを導出する。
• カップリング論法を適用し、拒絶的サンプリングにおける理論的結果を、層別抽出やRao-Sampford抽出を含む他のサンプリング方式へと拡張する。
• 実際のアンケートデータセット（例：incaIndiv, GJB, privacy3, privacy4）を用いた数値実験を通じて、重み付きと非重み付き学習手法を比較する。
• 大規模データセットには70%の訓練/テスト分割を、小規模データセットには10分割交差検証を用い、SVMおよびCART分類器を用いて予測誤差を評価する。

実験結果

リサーチクエスチョン

• RQ1 一般のアンケート調査方式（非一様包含確率を伴う）で得られたデータに、経験的リスク最小化の理論を拡張できるか？
• RQ2 拒絶的サンプリング下でのHTリスク最小化法の一般化率は何か？また、サンプリング設計にどのように依存するか？
• RQ3 サンプリング重みを訓練プロセスで無視した場合、学習アルゴリズムの性能にどのような影響を与えるか？
• RQ4 拒絶的サンプリングで得られた理論的バインディングを、層別抽出やRao-Sampford抽出などの他のサンプリング方式へと拡張できるか？
• RQ5 サンプリングメカニズムを無視すると、学習モデルの予測精度はどの程度低下するか？

主な発見

• 拒絶的サンプリング下でのHTリスク最小化法の超過リスクは、$ O_{\mathbb{P}}((\kappa_N \log N / n)^{1/2}) $ で有界であり、ここで $ \kappa_N = (n/N)/\min_i \pi_i $ である。これは非漸近的一般化保証を確立する。
• 拒絶的サンプリングにおける理論的結果は、カップリング論法を用いて、層別抽出やRao-Sampford抽出などの他のサンプリング方式へと拡張可能である。
• 数値実験の結果、サンプリング設計を無視した非重み付き学習は、重み付き学習よりも著しく高い予測誤差を示す。例として、incaIndivデータセットではSVMで0.19 vs. 0.16、privacy3では0.52 vs. 0.46の差が観察された。
• すべてのデータセットとモデルにおいて、重み付き学習が非重み付き学習を一貫して上回り、特にprivacy3で最大の性能差（SVMで0.52 vs. 0.46）を示した。
• 包含確率の高い不均一性を示すデータセットでは、HT重み付けを無視した場合の性能低下が顕著であり、HT重み付けの必要性が裏付けられた。
• これらの結果は、アンケート調査のメカニズムを考慮しないと、そのようなデータに学習させた機械学習モデルの信頼性と正確性が著しく損なわれる可能性があることを示している。