[論文レビュー] Translation and modern interpretation of Laplace's Théorie Analytique des Probabilités, pages 505-512, 516-520

Julien Langou|ArXiv.org|Jul 27, 2009

Probability and Statistical Research参考文献 4被引用数 11

ひとこと要約

この論文は、1820年のラプラスの確率的誤差解析に関する論文を翻訳・解釈し、彼が線形モデルにおける分散を計算するためのアルゴリズムが、現代の数値解析手法よりも前に開発されていたことを明らかにした。ラプラスの手法—逐次的直交射影とチョルメスキ分解—は、逆平方根を含まない修正グラム・シュミット法およびチョルメスキアルゴリズムに対応しており、病的な正規方程式を伴う木星および土星の質量推定においても高い精度で誤差推定を可能にした。

ABSTRACT

The text of Laplace, extit{Sur l'application du calcul des probabilités à la philosophie naturelle,} (Théorie Analytique des Probabilités. Troisième Édition. Premier Supplément), 1820, is quoted in the context of the Gram-Schmidt algorithm. We provide an English translation of Laplace's manuscript (originally in French) and interpret the algorithms of Laplace in a contemporary context. The two algorithms given by Laplace computes the mean and the variance of two components of the solution of a linear statistical model. The first algorithm can be interpreted as {\em reverse square-root-free modified Gram-Schmidt by row} algorithm on the regression matrix. The second algorithm can be interpreted as the {\em reverse square-root-free Cholesky} algorithm.

研究の動機と目的

• 天体力学における確率的誤差解析に関するラプラスのオリジナル・フランス語原稿を翻訳・文脈化すること。
• ラプラスが線形モデルにおける標準誤差を推定するための計算手法が、現代の数値アルゴリズムを予見していたことを示すこと。
• ラプラスが正規方程式の直交射影およびチョルメスキ分解を用いてモデルパラメータの分散をどのように計算したかを明らかにすること。
• 現代の64ビット浮動小数点演算と比較することで、ラプラスの結果を検証すること。
• 正規分布および誤差限界を用いて、ラプラスの信頼区間を惑星質量推定値に対して解釈すること。

提案手法

• 『解析的確率論』第3版（pp. 505–512, 516–520）に収録されたラプラスのオリジナル・フランス語本文13ページを翻訳する。
• ラプラスの逐次的直交射影法を、回帰行列に逐次的に適用する逆順の逆平方根を含まない修正グラム・シュミット法と同等であると解釈する。
• ラプラスの正規方程式行列のチョルメスキ分解を、残差ノルムおよび標準誤差を計算する手法として再構築する。
• 現代の算術を用いて、ラプラスの数値計算を段階的に再現し、正確性を検証する。
• 精度（poids）と標準偏差の関係式 $ P = 10^{\text{poids}} $ を用いて誤差限界を計算する。
• 正規方程式行列の逆行列 $ (\mathbf{A}^T\mathbf{A})^{-1} $ を64ビット浮動小数点演算で計算し、ラプラスの値と比較することで結果を検証する。

実験結果

リサーチクエスチョン

• RQ1 行列分解の形式的定式化が登場する以前に、ラプラスは線形モデルにおけるパラメータの標準誤差をどのように計算したのか？
• RQ2 ラプラスのアルゴリズムは、修正グラム・シュミット法やチョルメスキ分解といった現代の数値手法とどの程度一致するのか？
• RQ3 正規方程式が病的であるにもかかわらず、ラプラスの木星および土星の質量に関する分散推定値の正確さはどの程度であったか？
• RQ4 ラプラスが『poids』（精度）を用いて惑星質量推定値の信頼区間を構築した意義は何か？
• RQ5 正規方程式行列の対角スケーリングが、ラプラスの計算における数値的安定性をどのように向上させたのか？

主な発見

• ラプラスがパラメータの標準偏差を計算する手法は、回帰行列に適用される逆順の逆平方根を含まない修正グラム・シュミット法と一致する。
• ラプラスが正規方程式行列に施したチョルメスキ分解の最終的な対角成分は、射影された観測ベクトルのノルムに等しく、これが関心パラメータの標準誤差を示している。
• ラプラスが計算した $ z $（天王星質量パラメータ）の標準偏差 $ \sigma_z = 0.0706 $ は、現代の64ビット計算結果 $ \sigma_z = 0.0707 $ と一致する。
• また、$ z' $（木星質量パラメータ）について、ラプラスの推定値 $ \sigma_{z'} = 0.002044343 $ は、64ビット結果 $ \sigma_{z'} = 0.002044348 $ と $ 5 \times 10^{-9} $ 以内の差で一致する。
• 条件数が $ >10^8 $ であったにもかかわらず、対角スケーリングにより $ \mathbf{S} (\mathbf{A}^T\mathbf{A}) \mathbf{S} $ の条件数が104に低下し、スケーリング後の数値的安定性が保証された。
• ラプラスは、真の $ z $ の値が計算値の $ \pm 1/4 $ の範囲にある確率が1/2,509であると主張し、$ z' $ については $ \pm 1/100 $ の範囲にある確率が1/1,000,000であると述べた。これは正規分布と彼の精度パラメータ $ P $ を用いた推定に基づく。