[論文レビュー] Data analysis recipes: Fitting a model to data

David W. Hogg, Jo Bovy+1 more|arXiv (Cornell University)|Aug 27, 2010

Advanced Statistical Methods and Models参考文献 8被引用数 193

ひとこと要約

この論文は、一般の不均一分散で相関のある誤差、外れ値、内在的散乱を伴うデータに対して、統計的に厳密な生成モデルベースのアプローチを提示している。ノイズパラメータと未観測の真値の周辺化によるベイズ推論を提唱し、仮定が満たされない場合には従来の最小二乗法やPCAのような任意の手法を排除する。

ABSTRACT

We go through the many considerations involved in fitting a model to data, using as an example the fit of a straight line to a set of points in a two-dimensional plane. Standard weighted least-squares fitting is only appropriate when there is a dimension along which the data points have negligible uncertainties, and another along which all the uncertainties can be described by Gaussians of known variance; these conditions are rarely met in practice. We consider cases of general, heterogeneous, and arbitrarily covariant two-dimensional uncertainties, and situations in which there are bad data (large outliers), unknown uncertainties, and unknown but expected intrinsic scatter in the linear relationship being fit. Above all we emphasize the importance of having a "generative model" for the data, even an approximate one. Once there is a generative model, the subsequent fitting is non-arbitrary because the model permits direct computation of the likelihood of the parameters or the posterior probability distribution. Construction of a posterior probability distribution is indispensible if there are "nuisance parameters" to marginalize away.

研究の動機と目的

• 科学的データ解析において、標準的最小二乗法が広く誤用されている問題に対処すること。特に、x方向の誤差が無視できるか、yノイズがガウス分布であるという仮定が満たされない場合に焦点を当てる。
• データ生成プロセスの生成モデルを構築することで、原理的で恣意的でない線形回帰のフレームワークを確立すること。
• 不均一分散の誤差、外れ値、内在的散乱が存在する状況でも、ベイズ後確率分布の計算によりロバストな推論を可能にすること。
• ヒューリスティックな手法に代えて統計的に妥当で正当化可能な手順を導入することで、モデル適合における合意形成を促進し、恣意性を低減すること。
• 線形回帰がしばしば不要または正当化できないが、必要な場合には明確に定義された確率的モデルを用いて行うべきであることを示すこと。

提案手法

• 各観測データ点 $(x_i, y_i)$ が、直線 $y = m x + b$ 上にある真の点 $(x_i^*, y_i^*)$ を中心とする2次元正規分布から生成されたものと仮定する生成モデルを構築する。
• 各点に対して完全な共分散行列 $\boldsymbol{S}_i$ を用いて、x方向およびy方向の誤差をモデル化し、不均一分散性と相関性を許容する。
• 観測誤差を超える説明できないy方向の分散を表すために、内在的散乱パラメータ $V_y$ を導入し、観測誤差と直交和（平方和）として加算する。
• 未観測の真の位置 $x_i^*$ についての統合を実行することで、ノイズパラメータ（真の $x_i^*$ や $V_y$）の周辺化を可能にし、パラメータ $(m, b, V_y)$ の尤度を計算する。
• マルコフ連鎖モンテカルロ法（MCMC）や類似手法を用いて後確率分布からのサンプリングを実行し、不確実性の完全な定量化とモデル比較を可能にする。
• 内在的散乱が等方的で、真の位置が適切に重み付けされた投影誤差に従う場合、直交距離回帰が特別なケースとして正当化されることを示す。

実験結果

リサーチクエスチョン

• RQ1 x方向とy方向の両方に顕著な不均一分散で相関のある誤差がある場合、正しい統計的手法は何か？
• RQ2 実際の線形関係における内在的散乱を信頼性高く推定し、モデルに組み込むにはどうすればよいか？
• RQ3 なぜ標準的最小二乗法や主成分分析は、現実のデータ適合状況ではしばしば無効または誤解を招くのか？
• RQ4 一貫した確率的枠組みの中で、外れ値や未知の誤差をどのように取り扱えるか？
• RQ5 生成モデルが、恣意的な適合手順を原理的で恣意的でない推論プロセスに変換する役割は何か？

主な発見

• 重み付き最小二乗法は、x方向の誤差が無視可能で、y方向の誤差が既知かつガウス分布である場合にのみ有効である。実際にはこの条件はほとんど満たされない。
• 生成モデルを用いた線形回帰により、パラメータの後確率分布を直接計算可能となり、真の $x_i^*$ や $V_y$ といったノイズパラメータの周辺化が可能になる。
• 内在的散乱が等方的で、適切に重み付けされた投影誤差に従う場合、直交距離回帰が有効なアプローチであることが正当化される。
• 内在的散乱 $V_y$ は、観測誤差に直交和として加算することで推定可能であり、分散の差を取る（負の推定値を生じる可能性がある）という落とし穴を回避できる。
• 主成分分析は、測定誤差を伴うデータに対して線形回帰を行うのに適さない。なぜなら、観測データにフィットするのではなく、真の関係をフィットするべきだからである。
• 未観測の真の位置の周辺化により、欠損データの再構築が可能となり、個々の点の真の値を原理的かつ整合的に推定する手法が得られる。