[論文レビュー] A Partially Linear Framework for Massive Heterogeneous Data

Tianqi Zhao, Guang Cheng+1 more|arXiv (Cornell University)|Oct 30, 2014

Statistical Methods and Inference参考文献 50被引用数 8

ひとこと要約

本稿では、部分線形モデルを提示し、大規模で異質なデータに対して、分割統治フレームワークを用いて共通の特徴を推定するとともに、サブ・パopulation間での非線形性をモデル化する。主な貢献は、サブ・パopulation数の成長が緩やかであるという弱い条件下で、共通パrameterの集約推定子が、異質性が事前に分かっているかのように最小最大最適レートに達するという、オラクル効率性を達成することである。

ABSTRACT

We consider a partially linear framework for modelling massive heterogeneous data. The major goal is to extract common features across all sub-populations while exploring heterogeneity of each sub-population. In particular, we propose an aggregation type estimator for the commonality parameter that possesses the (non-asymptotic) minimax optimal bound and asymptotic distribution as if there were no heterogeneity. This oracular result holds when the number of sub-populations does not grow too fast. A plug-in estimator for the heterogeneity parameter is further constructed, and shown to possess the asymptotic distribution as if the commonality information were available. We also test the heterogeneity among a large number of sub-populations. All the above results require to regularize each sub-estimation as though it had the entire sample size. Our general theory applies to the divide-and-conquer approach that is often used to deal with massive homogeneous data. A technical by-product of this paper is the statistical inferences for the general kernel ridge regression. Thorough numerical results are also provided to back up our theory.

研究の動機と目的

• 複数のサブ・パopulationが異なる線形関係を示すが共通の非線形効果を持つ大規模データセットにおける統計的推論を扱う。
• データの異質性にもかかわらず統計的最適性を維持するスケーラブルで分散型の推定手法を開発する。
• 分割統治設定において、共通特徴（非線形関数）とサブ・パopulation固有の特徴（変化する線形係数）の両方の有効な推論を可能にする。
• 非漸近的および漸近的状態の両方において、集約推定子の理論的保証を確立する。
• カーネルリッジ回帰の理論的結果を、大規模データにおける半非パラメトリックモデルの推論をサポートするように拡張する。

提案手法

• Y = X^T β_j + f_0(Z) + ε という部分線形モデルを提案し、f_0はサブ・パopulation間で共通で、β_jは各サブ・パopulationごとに異なる。
• 分散型にカーネルリッジ回帰（KRR）を用いて、共通関数f_0とサブ・パopulation係数β_jを推定する。
• すべてのサブ・パopulationの推定子を平均化することで、共通パrameterの集約推定子β*を構築する。
• 集約された共通性推定子と個々のサブ・パopulation推定子を組み合わせることで、異質性のプラグイン推定子を構築する。
• 集約プロセスにおける平均化残差を制御するために、ヒルベルト空間におけるアズマ型不等式を適用する。
• 経験過程理論および再生核ヒルベルト空間（RKHS）技術（被覆数、度数エントロピーを含む）を用いて理論的バインディングを確立する。

実験結果

リサーチクエスチョン

• RQ1 サブ・パopulationの異質性が未知であり、かつデータが大規模である状況でも、共通パrameter f_0の推定においてオラクル効率性を達成できるか。
• RQ2 非漸近的条件下でも、共通パrameterの集約推定子が最小最大最適レートを維持するか。
• RQ3 共通性情報がデータから推定される場合でも、異質性パrameter β_j に対して有効な漸近的推論を構築できるか。
• RQ4 分割統治アプローチが半非パラメトリックモデルにおいて統計的効率性を維持する理論的条件は何か。
• RQ5 推定効率性が低下しない範囲で、サブ・パopulation数はサンプルサイズに対してどのように増加するか。

主な発見

• 共通パrameterの集約推定子は、非漸近的最小最大最適バインディングに達し、すべてのβ_jが事前に分かっているオラクル推定子と同等の性能を示す。
• 共通パrameter推定子の漸近的分布は、異質性が未知であっても、オラクル推定子と同一である。
• 異質性パrameterβ_jのプラグイン推定子は、共通パラメータf_0が既知であるかのように同じ漸近的分布を有する。
• 集約プロセスにおける残差項は、ヒルベルト空間におけるアズマ型不等式によって制御され、高確率で exp(−c log² n) の速度で減少する。
• 理論的枠組みは、一般のカーネルリッジ回帰が半非パラメトリックモデルにおいて有効な推論を可能にするのをサポートし、従来の最小最大結果を拡張する。
• サブ・パopulation数sが総サンプルサイズNに対してゆっくりと増加する場合（あるψ > 0に対してs ≲ N^ψを満たす場合）、この手法は有効である。