[論文レビュー] A Distributed One-Step Estimator

Cheng Huang, Xiaoming Huo|arXiv (Cornell University)|Nov 4, 2015

Statistical Methods and Inference参考文献 30被引用数 11

ひとこと要約

本稿では、大規模統計的推論のための単純な平均化ベース推定量を改善する分散型1ステップ推定量を提案する。局所勾配を用いた1回の補正ステップを適用することにより、中央集権的M推定量と同等の漸近的効率性を達成しつつ、通信コストを1回の追加通信ラウンドにとどめ、有限標本における平均二乗誤差を顕著に低減する。

ABSTRACT

Distributed statistical inference has recently attracted enormous attention. Many existing work focuses on the averaging estimator. We propose a one-step approach to enhance a simple-averaging based distributed estimator. We derive the corresponding asymptotic properties of the newly proposed estimator. We find that the proposed one-step estimator enjoys the same asymptotic properties as the centralized estimator. The proposed one-step approach merely requires one additional round of communication in relative to the averaging estimator; so the extra communication burden is insignificant. In finite sample cases, numerical examples show that the proposed estimator outperforms the simple averaging estimator with a large margin in terms of the mean squared errors. A potential application of the one-step approach is that one can use multiple machines to speed up large scale statistical inference with little compromise in the quality of estimators. The proposed method becomes more valuable when data can only be available at distributed machines with limited communication bandwidth.

研究の動機と目的

• 通信帯域が限られた環境下で、単純な平均化推定量の非効率性を是正すること。
• 通信コストを1回の追加ラウンドにとどめ、通信効率を維持しつつ推定精度を向上させる通信効率の高い手法を開発すること。
• 得られた推定量が中央集権的M推定量の漸近的性質を保つようにすること。
• 通信中にマシン障害やデータ損失が発生した場合の性能を評価すること。
• 複数の分散マシンを用いて、スケーラブルで高速かつ高精度な大規模推論を可能にすること。

提案手法

• 各マシンの局所勾配情報を用いて、単純な平均化推定量に対する1ステップ補正を提案する。
• 補正ステップでは、局所ヘッセ行列と勾配推定量を組み合わせることで、バイアスと分散を改善する。
• マシン間で目的関数が分離可能であると仮定し、分散最適化を可能にする。
• 漸近的理論を用いて、1ステップ推定量が中央集権的M推定量と同一の極限分布に収束することを示す。
• 確率的マシン障害に対してもロバストであり、二項分布に従う通信損失下での性能を分析する。
• 大数の法則とスラツキーの補題を用いて、部分的なデータ利用可能性下での漸近的正規性を確立する。

実験結果

リサーチクエスチョン

• RQ1 1回の補正ステップにより、通信コストを最小限に抑えながら、分散平均化推定量の平均二乗誤差を改善できるか？
• RQ2 提案された1ステップ推定量は、中央集権的M推定量と同等の漸近的分散を達成するか？
• RQ3 一部のマシンが通信に失敗した場合、推定量はどのように動作するか？
• RQ4 通信損失が推定精度および漸近的性質に与える影響は何か？
• RQ5 帯域制限と複数のマシンを想定した大規模推論に、この手法を適用可能か？

主な発見

• 1ステップ推定量は、中央集権的M推定量と同一の漸近的分布を有し、√N-一貫性と漸近的正規性を満たす。
• 有限標本において、1ステップ推定量の平均二乗誤差は、単純な平均化推定量よりも顕著に低い。
• 確率的通信障害下でも、1ステップ推定量は漸近的正規性を維持し、有効サンプルサイズが(1−r)の割合で減少する。ここでrは障害確率である。
• 推定量の平均二乗誤差は、2Tr(Σ)/(N(1−r)) + 6Tr(Σ)/(Nk(1−r)²) + O(N⁻²) + O(k²N⁻²) で有界であり、有限標本における性能向上を示す。
• 平均化処理に加え、1回の追加通信ラウンドでのみ通信コストが増加するため、非常に通信効率が良い。
• 理論的結果は、単純な平均化手法に比べて顕著な有限標本の利得を示す数値例によって裏付けられている。