[論文レビュー] Divide and Conquer in Non-standard Problems and the Super-efficiency Phenomenon

Moulinath Banerjee, Cécile Durot+1 more|arXiv (Cornell University)|May 14, 2016

Advanced Statistical Methods and Models参考文献 21被引用数 8

ひとこと要約

本稿は、等方的回帰などの立方根漸近的特性を示す非標準的問題における分割統治推定を調査する。プーリングされたサブサンプル推定量が、推定量の分散を経験的に推定可能で、漸近的に正規分布に従うが、グローバル推定量よりも点ごとの効率が優れている一方で、一様な性能劣化を伴うという点で、超効率的現象が生じることを示している。

ABSTRACT

We study how the divide and conquer principle --- partition the available data into subsamples, compute an estimate from each subsample and combine these appropriately to form the final estimator --- works in non-standard problems where rates of convergence are typically slower than $\sqrt{n}$ and limit distributions are non-Gaussian, with a special emphasis on the least squares estimator (and its inverse) of a monotone regression function. We find that the pooled estimator, obtained by averaging non-standard estimates across the mutually exclusive subsamples, outperforms the non-standard estimator based on the entire sample in the sense of pointwise inference. We also show that, under appropriate conditions, if the number of subsamples is allowed to increase at appropriate rates, the pooled estimator is asymptotically normally distributed with a variance that is empirically estimable from the subsample-level estimates. Further, in the context of monotone function estimation we show that this gain in pointwise efficiency comes at a price --- the pooled estimator's performance, in a uniform sense (maximal risk) over a class of models worsens as the number of subsamples increases, leading to a version of the super-efficiency phenomenon. In the process, we develop analytical results for the order of the bias in isotonic regression, which are of independent interest.

研究の動機と目的

• 非ガウス分布の極限と遅い収束速度を示す非標準的統計的問題における分割統治戦略の挙動を調査すること。
• 等方的回帰において、グローバル推定と比較してサブサンプル推定量をプールすることにより、点ごとの推論効率が向上するかどうかを分析すること。
• 増加するサブサンプル数の下で、プールド推定量の漸近的正規性と分散推定可能性を検証すること。
• 特に、超効率的現象の出現を含め、点ごとの効率性と一様効率性のトレードオフを検討すること。

提案手法

• 全サンプルを互いに排他的なサブサンプルに分割し、各サブサンプルで単調回帰関数の最小二乗推定量（LSE）を計算する。
• サブサンプルレベルの推定量を単純平均することでプールド推定量を構築する。
• 中心化されたサブサンプル統計量の和に対するリンデバーグ条件の検証により、プールド推定量の漸近的正規性を確立する。
• 漂うブラウン運動の理論と等方的回帰のargmin特徴付けを用いて、極限分布を導出する。
• 漂う過程の最小化子とその一般化累積マジョライズの間のスイッチング関係を応用し、推定量の挙動を分析する。
• 立方根漸近的特性下での等方的回帰におけるバイアスの解析的表現を導出する。これは独立に価値のある結果である。

実験結果

リサーチクエスチョン

• RQ1 非標準的問題においてサブサンプル推定量をプールすることにより、グローバル推定と比較して点ごとの効率性が向上するか？
• RQ2 増加するサブサンプル数の下で、プールド推定量が漸近的に正規分布に従い、経験的に分散を推定可能か？
• RQ3 サブサンプル数の増加が、プールド推定量の一様リスクに与える影響は何か？
• RQ4 サブサンプル数の増加に伴い、プールド推定量が一様な性能劣化を示すという意味で超効率的であるか？
• RQ5 立方根漸近的特性下での等方的回帰におけるバイアスの正確なオーダーは何か？

主な発見

• サブサンプル数を適切な割合で増加させる場合、プールド推定量は、サブサンプルレベルの推定量から経験的に分散を推定可能な漸近的正規分布に従う。
• グローバル推定量が遅い立方根レートで収束するにもかかわらず、プールド推定量は点ごとの推論効率がグローバル推定量を上回る。
• サブサンプル数が増加するにつれ、単調回帰関数のクラス全体におけるプールド推定量の一様リスク（最大リスク）が増加し、一様性能の劣化が生じる。
• 本稿では、超効率的現象のバージョンを確立した：点ごとの効率性の向上は、一様挙動の悪化という代償を伴う。
• 等方的回帰におけるバイアスが $ N^{-1/3} $ のオーダーであることが示され、そのバイアスの解析的表現が導出されており、独立に価値のある結果である。
• 中心化されたサブサンプル統計量の和に対してリンデバーグ条件が検証され、正則性条件の下でプールド推定量の漸近的正規性が保証される。