[論文レビュー] Sparse Precision Matrix Selection for Fitting Gaussian Random Field Models to Large Data Sets

Sam Davanloo Tajbakhsh, Necdet Serhat Aybat+1 more|arXiv (Cornell University)|May 21, 2014

Soil Geostatistics and Mapping参考文献 52被引用数 7

ひとこと要約

本論文は、大規模な空間データセットに対する2次元定常ガウスランダムフィールド（GRF）モデルの効率的なフィッティングのための2段階手法を提案する。まず、重み付きℓ₁正則化を用いたADMMによる凸的でスパースな精度行列推定問題を解き、次に最小二乗法を用いて共分散パラメータを推定する。この手法は計算複雑性を低減し、収束を保証する。nが大きい場合、従来の最尤（ML）手法を上回る性能を発揮する。

ABSTRACT

Iterative methods for fitting a Gaussian Random Field (GRF) model to spatial data via maximum likelihood (ML) require $\mathcal{O}(n^3)$ floating point operations per iteration, where $n$ denotes the number of data locations. For large data sets, the $\mathcal{O}(n^3)$ complexity per iteration together with the non-convexity of the ML problem render traditional ML methods inefficient for GRF fitting. The problem is even more aggravated for anisotropic GRFs where the number of covariance function parameters increases with the process domain dimension. In this paper, we propose a new two-step GRF estimation procedure when the process is second-order stationary. First, a \emph{convex} likelihood problem regularized with a weighted $\ell_1$-norm, utilizing the available distance information between observation locations, is solved to fit a sparse \emph{{precision} (inverse covariance) matrix to the observed data using the Alternating Direction Method of Multipliers. Second, the parameters of the GRF spatial covariance function are estimated by solving a least squares problem. Theoretical error bounds for the proposed estimator are provided; moreover, convergence of the estimator is shown as the number of samples per location increases. The proposed method is numerically compared with state-of-the-art methods for big $n$. Data segmentation schemes are implemented to handle large data sets.

研究の動機と目的

• 大規模な空間データセットにおけるガウスランダムフィールド（GRF）の最尤（ML）推定の高い計算コストに対処すること。
• 従来のMLフィッティングにおける非凸性とO(n³)の計算複雑性、特にパrameterがより多い非等方的GRFにおいて顕著な問題を克服すること。
• 空間距離情報を利用したスパースな精度行列推定手順を備えた凸的でスパースな手法を開発し、スケーラビリティを向上させること。
• 標本サイズが各位置で増加する際の推定量の理論的整合性と収束を保証すること。
• データ分割を活用して大規模データの効率的処理を可能にし、単一マシンの処理限界を超える大規模データの処理を実現すること。

提案手法

• 観測位置間の既知の距離を用いて、精度行列にスパarsityを誘導する重み付きℓ₁ノルム正則化を施した凸的尤度問題を定式化する。
• 得られた最適化問題を、効率的かつスケーラブルな計算が可能な交替方向乗数法（ADMM）を用いて解く。
• 推定されたスパースな精度行列を用いて、最小二乗法によるGRF共分散関数パラメータの推定を行う。
• プロセスの2次元定常性を精度行列の構造と正則化重みに反映させる。
• 計算を分散化し、単一マシン処理限界を超える大規模データセットの処理を可能にするために、データ分割を適用する。
• 理論的分析を用いて誤差バウンディングを導出し、標本数が各位置で増加する際の推定量の収束を証明する。

実験結果

リサーチクエスチョン

• RQ1 凸的でスパースな精度行列推定アプローチは、大規模な空間データセットに対するGRFフィッティングの計算負荷を低減できるか？
• RQ2 ℓ₁正則化に空間距離情報を組み込むことで、推定の正確性とスパarsityはどのように向上するか？
• RQ3 提案された2段階手法は、理論的収束保証を伴う一貫性のあるパラメータ推定を達成できるか？
• RQ4 最新の手法と比較して、この手法はどれほど大規模データにスケーリングできるか？
• RQ5 データ分割方式は、分散計算を可能にしながら推定品質をどれほど維持できるか？

主な発見

• 非凸なML最適化を代替する凸的でスパースな精度行列推定（ADMMを用いて）により、O(n³)の計算複雑性が低減された。
• 理論的誤差バウンディングが導出され、推定量が標本数が各位置で増加するにつれて一貫性を示し収束することが示された。
• 特に非等方的設定において、計算効率とスケーラビリティの点で従来のMLフィッティングを上回った。
• データ分割により、従来手法のメモリおよび計算限界を超える大規模データセットの処理が可能になった。
• スパースな精度行列推定とその後の最小二乗法によるパrameterフィッティングという2段階手順により、安定的かつ正確な共分散パラメータ推定が得られた。
• 距離に基づく重みを用いた重み付きℓ₁正則化により、精度行列におけるスパarsityが向上し、空間構造が保持された。