[論文レビュー] Maximum likelihood estimation for Gaussian processes under inequality constraints

François Bachoc, Agnès Lagnoux+1 more|arXiv (Cornell University)|Apr 10, 2018

Statistical Methods and Inference参考文献 47被引用数 1

ひとこと要約

本稿は、固定領域漸近法における不等式制約（有界性、単調性、凸性など）の下でのガウス過程の最尤推定（MLE）を研究する。両者、制約なしMLEと制約付きMLE（cMLE）の漸近的分布が同一であることを証明し、制約が推定に与える漸近的影響が無視できることを示す。シミュレーションによりcMLEが有限標本における精度を向上させることを確認し、ノイズあり観測や予測への応用も提示する。

ABSTRACT

We consider covariance parameter estimation for a Gaussian process under inequality constraints (boundedness, monotonicity or convexity) in fixed-domain asymptotics. We address the estimation of the variance parameter and the estimation of the microergodic parameter of the Mat\'ern and Wendland covariance functions. First, we show that the (unconstrained) maximum likelihood estimator has the same asymptotic distribution, unconditionally and conditionally to the fact that the Gaussian process satisfies the inequality constraints. Then, we study the recently suggested constrained maximum likelihood estimator. We show that it has the same asymptotic distribution as the (unconstrained) maximum likelihood estimator. In addition, we show in simulations that the constrained maximum likelihood estimator is generally more accurate on finite samples. Finally, we provide extensions to prediction and to noisy observations.

研究の動機と目的

• 有界性、単調性、凸性などの不等式制約の下でのガウス過程の最尤推定（MLE）の漸近的挙動を分析すること。
• プロセスが制約を満たすという条件下で、MLEと制約付きMLE（cMLE）の漸近的条件分布と無条件分布を比較すること。
• 実用的状況下で、cMLEと非制約MLEの有限標本性能を評価すること。
• 予測とノイズあり観測モデルへの枠組みの拡張をすること。
• 空間的およびコンピュータ実験の応用における制約付き共分散パrameter推定の理論的基盤を確立すること。

提案手法

• 観測位置が固定された有界領域内で密に分布する固定領域漸近法を適用する。
• 漸近的空間統計、ガウス過程の極値、再生核ヒルベルト空間（RKHS）の道具を用いて漸近的分布を導出する。
• 不等式制約を尤度最適化に明示的に組み込む制約付き最尤推定（cMLE）を提案する。
• プロセスが制約を満たすという条件下でのMLEとcMLEの漸近的条件分布を、条件付き期待値と確率の上限を用いて導出する。
• 近似誤差を制御するため、コーシー＝シュワルツの不等式とジェンセンの不等式を用いる。
• 予測とノイズあり観測モデルへの応用を拡張し、cMLEが良好な有限標本特性を維持することを示す。

実験結果

リサーチクエスチョン

• RQ1 ガウス過程が有界性、単調性、凸性などの不等式制約を満たすという条件下で、MLEの漸近的分布は変化するか？
• RQ2 制約付きMLE（cMLE）は、同じ制約下で非制約MLEと漸近的に同等の分布を有するか？
• RQ3 有限標本において、cMLEの精度と正確性はMLEに比べてどのように異なるか？
• RQ4 cMLEは、漸近的および有限標本特性を保ちつつ、予測とノイズあり観測モデルに拡張可能か？
• RQ5 制約下での微小エルゴード的パrameter推定の影響は何か？また、予測品質に影響を与えるか？

主な発見

• ガウス過程が不等式制約を満たすという条件下でのMLEの漸近的条件分布は、無条件の漸近的分布と同一である。
• 制約付きMLE（cMLE）は、非制約MLEと同一の漸近的分布を有するため、推定に与える制約の漸近的影響は無視できる。
• シミュレーションにより、cMLEは特に有界性、単調性、凸性制約下で、MLEよりも一般的に高い精度を示す。
• cMLEは、非制約MLEと同一の正則性条件の下で一貫性と漸近正規性を維持する。
• 予測とノイズあり観測モデルへの拡張において、cMLEは良好な有限標本特性を維持し、予測区間を改善することが示された。
• 理論的証明はRKHS理論、ガウス過程の極値解析、条件付き確率の上限に基づくが、従来の一貫性結果を上回る新たな技術的展開が含まれる。