[논문 리뷰] Data analysis recipes: Fitting a model to data

David W. Hogg, Jo Bovy외 1명|arXiv (Cornell University)|2010. 08. 27.

Advanced Statistical Methods and Models참고 문헌 8인용 수 193

한 줄 요약

이 논문은 일반적인 이질적이고 상관관계가 있는 불확실성, 이상치, 내재 산란을 가진 데이터에 직선을 적합시키기 위한 통계적으로 엄밀한, 생성 모델 기반 접근법을 제시한다. 비모수적 인자와 관측되지 않은 진짜 값에 대한 적분을 통한 베이지안 추론을 지지하며, 가정이 위반될 경우 일반 최소 제곱법이나 주성분 분석과 같은 수단적인 방법을 기각한다. 이는 수직 거리 회귀의 정당성을 입증한다.

ABSTRACT

We go through the many considerations involved in fitting a model to data, using as an example the fit of a straight line to a set of points in a two-dimensional plane. Standard weighted least-squares fitting is only appropriate when there is a dimension along which the data points have negligible uncertainties, and another along which all the uncertainties can be described by Gaussians of known variance; these conditions are rarely met in practice. We consider cases of general, heterogeneous, and arbitrarily covariant two-dimensional uncertainties, and situations in which there are bad data (large outliers), unknown uncertainties, and unknown but expected intrinsic scatter in the linear relationship being fit. Above all we emphasize the importance of having a "generative model" for the data, even an approximate one. Once there is a generative model, the subsequent fitting is non-arbitrary because the model permits direct computation of the likelihood of the parameters or the posterior probability distribution. Construction of a posterior probability distribution is indispensible if there are "nuisance parameters" to marginalize away.

연구 동기 및 목표

• 과학적 데이터 분석에서 표준 최소 제곱법의 광범위한 오용을 다루기 위해, 특히 x-불확실성이 무시 가능하거나 y-노이즈가 가우시안이라는 가정이 위반될 경우에 대비한다.
• 데이터 생성 과정의 생성 모델을 구축함으로써 선형 회귀에 대한 원칙적이고 비편향된 프레임워크를 수립한다.
• 베이지안 사후 분포 계산을 통해 이종 불확실성, 이상치, 내재 산란이 존재하는 상황에서도 강건한 추론을 가능하게 한다.
• 해시적 방법을 통계적으로 타당한 절차로 대체함으로써 모델 적합의 공감대 형성과 편향 제거를 촉진한다.
• 선을 적합시키는 것이 종종 불필요하거나 정당화되지 않을 수 있음을 보여주며, 만약 필요하다면 잘 정의된 확률 모델을 통해 수행되어야 한다.

제안 방법

• 각 관측 데이터 포인트 $(x_i, y_i)$ 가 직선 $y = m x + b$ 위에 위치한 진짜 값 $(x_i^*, y_i^*)$ 를 중심으로 하는 이변량 정규분포에서 유래된다고 가정하는 생성 모델을 구축한다.
• 각 점에 대해 전체 공분산 행렬 $\boldsymbol{S}_i$ 를 사용하여 x 및 y 방향의 불확실성을 모델링함으로써 이종성과 상관관계를 허용한다.
• 관측된 오차 이외의 설명되지 않은 분산을 반영하기 위해 내재 산란 매개변수 $V_y$ 를 도입하고, 이를 관측된 불확실성과 제곱합으로 추가한다.
• 관측되지 않은 진짜 위치 $x_i^*$ 를 통합하여 매개변수 $(m, b, V_y)$ 의 가능도를 계산함으로써, 불편한 인자에 대한 적분을 가능하게 한다.
• 마르코프 체인 몬테카를로(MCMC) 또는 유사 방법을 사용하여 사후 분포에서 표본을 추출함으로써 전체 불확실성 정량화와 모델 비교를 가능하게 한다.
• 내재 산란이 등방성이고 진짜 위치가 적절한 불확실성 가중치에 따라 직선에 투영될 경우, 수직 거리 회귀가 특수한 경우로 정당화됨을 설명한다.

실험 결과

연구 질문

• RQ1 x와 y 양측에 비균일하고 이종적이며 상관관계가 있는 불확실성이 존재할 경우, 데이터에 직선을 적합시키기 위한 올바른 통계적 접근법은 무엇인가?
• RQ2 기본 선형 관계의 내재 산란을 신뢰성 있게 추정하고 모델에 통합하는 방법은 무엇인가?
• RQ3 왜 표준 최소 제곱법과 주성분 분석 방법은 실제 데이터 적합 시나리오에서 자주 잘못되거나 오해의 소지가 있는가?
• RQ4 일관된 확률적 프레임워크 내에서 이상치와 알려지지 않은 불확실성은 어떻게 다룰 수 있는가?
• RQ5 생성 모델이 임의의 적합 절차를 원칙적이고 비편향된 추론 과정으로 전환하는 데서 수행하는 역할은 무엇인가?

주요 결과

• 표준 가중 최소 제곱법은 x-불확실성이 무시 가능하고 y-불확실성이 알려져 있으며 가우시안일 때만 유효하다—실제로는 거의 항상 만족되지 않는다.
• 생성 모델을 통한 선 적합은 매개변수에 대한 사후 확률 분포를 직접 계산할 수 있게 하며, 진짜 $x_i^*$ 와 $V_y$ 와 같은 불편한 인자에 대한 적분이 가능해진다.
• 내재 산란이 등방성이고 적절히 가중치가 부여된 경우, 수직 거리 회귀는 타당한 접근법으로 정당화된다.
• 내재 산란 $V_y$ 는 관측된 불확실성과 제곱합으로 추가함으로써 추정할 수 있으며, 분산을 빼는 것(부정적 추정치를 초래할 수 있음)의 함정을 피할 수 있다.
• 주성분 분석은 측정 오차가 존재하는 데이터에 직선을 적합시키는 데 적합하지 않다. 왜냐하면 관측된 데이터에 맞추는 것이지, 기저의 진짜 관계를 맞추는 것이 아니기 때문이다.
• 관측되지 않은 진짜 위치에 대한 적분은 누락된 데이터 복원과 개별 포인트의 진짜 값 추정에 원칙적인 방법을 제공한다.