[論文レビュー] Local Uncertainty Sampling for Large-Scale Multi-Class Logistic Regression

Lei Han, Kean Ming Tan+2 more|arXiv (Cornell University)|Apr 27, 2016

Advanced Statistical Methods and Models参考文献 13被引用数 5

ひとこと要約

本稿では、推定誤差の分散を最小化するために予測の不確実性に基づいてデータポイントを選択する、大規模な多クラスロジスティック回帰のための部分標本抽出法であるローカル不確実性サンプリング（LUS）を提案する。LUSは、特に条件付きクラス不均衡下で、一様抽出やケースコントロール抽出よりも少ないサンプル数でより低い分散を達成し、性能が優れている。理論的にも、パイロット推定が確率的であっても一貫性を保つことが保証されている。

ABSTRACT

A major challenge for building statistical models in the big data era is that the available data volume far exceeds the computational capability. A common approach for solving this problem is to employ a subsampled dataset that can be handled by available computational resources. In this paper, we propose a general subsampling scheme for large-scale multi-class logistic regression and examine the variance of the resulting estimator. We show that asymptotically, the proposed method always achieves a smaller variance than that of the uniform random sampling. Moreover, when the classes are conditionally imbalanced, significant improvement over uniform sampling can be achieved. Empirical performance of the proposed method is compared to other methods on both simulated and real-world datasets, and these results match and confirm our theoretical analysis.

研究の動機と目的

• 膨大なデータセットを伴う大規模な多クラスロジスティック回帰における高い計算コストの課題に対処すること。
• 計算可能性を維持しつつ、部分標本化された推定量の統計的分散を低減すること。
• データの不確実性とクラス不均衡、特に条件付き不均衡に適応する標本抽出戦略を開発すること。
• 既存の局所ケースコントロール手法を多クラス設定に一般化し、理論的保証を付与すること。
• LUSが一様抽出およびケースコントロール抽出よりも優れた統計的効率性を実現することを実証的に検証すること。

提案手法

• パイロット推定量に基づいて予測不確実性が大きいデータポイントに高い受容確率を割り当てる、ローカル不確実性サンプリング（LUS）を提案する。
• 一様小標本からの推定など、一貫性のあるパイロット推定量を用いて条件付き確率を推定し、不確実なサンプルを特定する。
• 各クラスの予測確率質量の逆数に比例する受容確率を割り当て、不確実な予測を優遇する。
• 特にモデル不適合の下でも一貫性を保ち、バイアスを低減するため、最終推定量に補正手法を適用する。
• LUS推定量の漸近的分散を導出し、それが一様抽出のそれよりも常に小さいことを示す。
• マージナルおよび条件付きに不均衡なデータに対処できるようにこの手法を拡張し、K > 2クラスの場合の理論的分析を実施する。

実験結果

リサーチクエスチョン

• RQ1 一様抽出に依存せずに、大規模な多クラスロジスティック回帰における推定量の分散を低減できる部分標本抽出法を設計できるか？
• RQ2 条件付き不均衡下で、局所不確実性サンプリングは一様抽出およびケースコントロール抽出と比べて漸近的分散においてどのように異なるか？
• RQ3 LUSの性能はパイロット推定量の品質に依存するのか？また、パイロットが確率的であっても一貫性を保てるか？
• RQ4 モデル不適合がLUS推定量に与える影響は何か？特にK > 2クラスの場合にどうなるか？
• RQ5 LassoやグループLassoのような正則化を伴う高次元設定に、LUSを拡張できるか？

主な発見

• 任意の期待標本サイズに対して、LUSは一様抽出よりも常に低い漸近的分散を達成する。特に強い条件付き不均衡下でその改善効果が顕著である。
• LUSとLCCが同じ漸近的分散（例：γ = 1.5）を達成する場合、LUSはLCCよりも少ない部分標本数（nSub/nが小さい）で達成できる。
• 実験結果では、nSub/n = 0.15 から 0.3 の全テストの部分標本率において、LUSはLCCよりも低い分散を示し、nSub/n = 0.3 時に平均で1.62 vs. 1.73の差を示した。
• パイロット推定量が一貫している限り、LUS推定量の分散はそのランダム性とは無関係に一定であり、変動しない。
• K=2の場合、パイロットが一貫している限り、モデル不適合下でもLUSは一貫した推定量を生成する。K>2の場合、推定量はバイアスを有するが、そのバイアスは定量的に評価可能である。
• Web Spamデータでは、LUSは全データMLEと同等の性能を15–30%のデータ量で達成し、分散と標本効率の両面でLCCおよび一様抽出を上回った。