[논문 리뷰] Translation and modern interpretation of Laplace's Théorie Analytique des Probabilités, pages 505-512, 516-520

Julien Langou|ArXiv.org|2009. 07. 27.

Probability and Statistical Research참고 문헌 4인용 수 11

한 줄 요약

이 논문은 천체역학에서 확률적 오차 분석에 관한 라플라스의 1820년 논문을 번역하고 해석하며, 그가 선형 모델에서 분산을 계산하기 위한 알고리즘을 현대 수치 해법보다 앞서 개발했다는 점을 드러낸다. 라플라스의 접근 방식—연속적인 수직 투영과 콜레스키 분해를 사용—는 역순의 제곱근 제거형 수정 그람-슈미트 및 콜레스키 알고리즘과 대응하며, 정규 방정식의 약한 조건 수에도 불구하고 목성과 토성 질량 계산에서 높은 정확도로 오차를 추정할 수 있게 해준다.

ABSTRACT

The text of Laplace, extit{Sur l'application du calcul des probabilités à la philosophie naturelle,} (Théorie Analytique des Probabilités. Troisième Édition. Premier Supplément), 1820, is quoted in the context of the Gram-Schmidt algorithm. We provide an English translation of Laplace's manuscript (originally in French) and interpret the algorithms of Laplace in a contemporary context. The two algorithms given by Laplace computes the mean and the variance of two components of the solution of a linear statistical model. The first algorithm can be interpreted as {\em reverse square-root-free modified Gram-Schmidt by row} algorithm on the regression matrix. The second algorithm can be interpreted as the {\em reverse square-root-free Cholesky} algorithm.

연구 동기 및 목표

• 천체역학에서의 확률적 오차 분석에 관한 라플라스의 원본 프랑스어 수기 번역 및 맥락화.
• 라플라스가 선형 모델에서 표준 오차를 추정하기 위한 계산 방법이 현대 수치 알고리즘을 앞서 개발했다는 것을 입증.
• 라플라스가 정규 방정식의 수직 투영과 콜레스키 분해를 사용하여 모델 매개변수의 분산을 어떻게 계산했는지 설명.
• 현대 64비트 산술 계산과 비교하여 라플라스의 결과를 검증.
• 정규 분포와 오차 한계를 사용하여 라플라스의 신뢰구간을 해석하고, 천체 질량 추정치에 대한 신뢰구간을 구성.

제안 방법

• 『정확한 확률 이론』제3판의 13페이지(505–512, 516–520)를 번역하여 라플라스의 원본 프랑스어 텍스트를 해석.
• 라플라스의 순차적 수직 투영 방법을, 회귀 행렬에 대해 행 단위로 적용된 역순의 제곱근 제거형 수정 그람-슈미트 알고리즘과 동치로 해석.
• 라플라스의 정규 방정식 행렬에 대한 콜레스키 분해를 잔차 노름과 표준 오차를 계산하는 방법으로 재구성.
• 현대 산술을 사용하여 라플라스의 수치 계산을 단계별로 재현하여 정확도를 검증.
• 정밀도(poids)와 표준편차 사이의 관계인 $ P = 10^{\text{poids}} $ 를 사용하여 오차 한계를 계산.
• 라플라스의 결과를 $ (\mathbf{A}^T\mathbf{A})^{-1} $ 의 64비트 부동소수점 계산 결과와 비교하여 검증.

실험 결과

연구 질문

• RQ1 행렬 분해의 공식적 개발 이전에 라플라스는 선형 모델에서 매개변수의 표준 오차를 어떻게 계산했는가?
• RQ2 라플라스의 알고리즘이 수정 그람-슈미트 및 콜레스키 분해와 같은 현대 수치 방법과 얼마나 유사한가?
• RQ3 정규 방정식의 조건 수가 나쁘다는 상황에서도, 목성과 토성 질량에 대한 라플라스의 분산 추정치는 얼마나 정확했는가?
• RQ4 라플라스가 행성 질량 추정치의 신뢰구간을 구성할 때 사용한 'poids'(정밀도)의 의미는 무엇인가?
• RQ5 정규 방정식 행렬의 대각 스케일링이 라플라스의 계산에서 수치 안정성에 어떻게 기여했는가?

주요 결과

• 라플라스가 매개변수의 표준편차를 계산하는 방법은 회귀 행렬에 적용된 역순의 제곱근 제거형 수정 그람-슈미트 알고리즘과 일치한다.
• 라플라스가 정규 방정식 행렬에 대해 수행한 콜레스키 분해의 최종 대각 성분은 투영된 관측 벡터의 노름과 같으며, 이는 관심 있는 매개변수의 표준오차를 제공한다.
• 유성 질량 매개변수 $ z $ 에 대한 라플라스의 표준편차는 $ \sigma_z = 0.0706 $ 이었고, 현대 64비트 계산 결과 $ \sigma_z = 0.0707 $ 과 정확히 일치한다.
• 목성 질량 매개변수 $ z' $ 에 대해 라플라스의 추정치 $ \sigma_{z'} = 0.002044343 $ 은 64비트 결과 $ \sigma_{z'} = 0.002044348 $ 과 $ 5 \times 10^{-9} $ 이내로 매우 정밀하게 일치한다.
• 조건 수가 $ >10^8 $ 였음에도 불구하고, 대각 스케일링으로 $ \mathbf{S} (\mathbf{A}^T\mathbf{A}) \mathbf{S} $ 의 조건 수가 104로 감소하여 스케일링 이후 수치 안정성이 확보됨을 보여준다.
• 라플라스는 정규 분포와 자신의 정밀도 매개변수 $ P $ 를 기반으로, 진짜 값이 $ z $ 의 계산된 값으로부터 $ \pm 1/4 $ 이내에 있을 확률이 1/2,509이며, $ z' $ 는 $ \pm 1/100 $ 이내일 확률이 1/1,000,000임을 주장했다.