[論文レビュー] Overfitting and correlations in model fitting with separation ratios

I. W. Roxburgh|arXiv (Cornell University)|Aug 22, 2018

Stellar, planetary, and galactic studies被引用数 3

ひとこと要約

この論文は、分離比 $r_{01}$ と $r_{10}$ を単一の $r_{010}$ シーケンスに組み合わせることで、強い相関性が生じ、過剰適合（overfitting）を引き起こし、高条件数を示すほぼ特異的（nearly singular）な共分散行列が得られ、誤ったモデル比較を引き起こすことを示している。著者らは、$r_{10}$、$r_{01}$、$r_{02}$ を適切に導出した共分散行列を用いて、過剰適合を回避した $r_{102}$ もしくは $r_{012}$ シーケンスに統合することを提唱し、これにより一貫性があり信頼性の高いモデル適合が得られることを示している。

ABSTRACT

The $r_{01}$ and $r_{10}$ separation ratios are not independent so combing them into a single series $r_{010}$ is overfitting the data, this can lead to almost singular covariance matrices with very large condition numbers, and hence to spurious results when comparing models and observations. Since the $r_{02}$ ratios are strongly correlated with $r_{10}$ and $r_{01}$ ratios, they should be combined into a single series $r_{102}$ (or $r_{012}$), which are not overfitted, and models and observation compared using the covariance matrix $cov_{102}$ (or $cov_{012}$) of the combined set. I illustrate these points by comparing the revised Legacy Project data with my results on the 10 Kepler stars in common.

研究の動機と目的

• 太陽系外惑星振動モデル適合において、$r_{01}$ と $r_{10}$ の比を単一の $r_{010}$ シーケンスに組み合わせる際の過剰適合のリスクを特定すること。
• その結果得られる $r_{010}$ の共分散行列が、非常に大きな条件数を示し、ほぼ特異的（nearly singular）になること、これにより誤ったモデル比較結果が生じることを示すこと。
• $r_{02}$ 比が $r_{01}$ および $r_{10}$ と強く相関していること、したがって過剰適合を避けるためにこれらを同時に扱う必要があることの証明。
• $r_{10}$、$r_{01}$、$r_{02}$ を単一の過剰適合を避けるシーケンス $r_{102}$ もしくは $r_{012}$ に統合し、より強固なモデル-データ比較を実現すること。
• 10個の Kepler 星（Legacy プロジェクトと著者自身の解析に共通する）を用いて、提案手法の妥当性を検証し、$r_{102}$ または $r_{012}$ を用いた場合に一貫性のある $χ^2$ 値が得られることを示すこと。

提案手法

• 標準的な定義に従い、周波数の差分と正規化を用いて観測周波数から $r_{01}$、$r_{10}$、$r_{02}$ 分離比を導出する。
• デルタ法を用いて各比の共分散行列を計算する：$cov(r_i, r_j) = \sum_{k,m} \frac{\partial r_i}{\partial \nu_k} cov(\nu_k, \nu_m) \frac{\partial r_j}{\partial \nu_m}$、周波数の共分散行列に基づく。
• 個々の比から $r_{010}$、$r_{102}$、$r_{012}$ の組み合わせシーケンスを生成し、完全な共分散構造を持つ多変量データとして扱う。
• 組み合わせシーケンスの完全な共分散行列を用いて $\chi^2$ 統計量を計算し、モデル適合の質を評価する。
• Legacy プロジェクトがMCMCを用いて得た共分散行列と、著者が最尤推定から独立して導出した行列の両方を用いて結果を比較する。
• 過剰適合による近似特異性を検出するため、得られた共分散行列の条件数を評価する。

実験結果

リサーチクエスチョン

• RQ1 $r_{01}$ と $r_{10}$ を単一の $r_{010}$ シーケンスに組み合わせることで、太陽系外惑星振動モデル適合において過剰適合が生じ、不安定な共分散行列が得られるか？
• RQ2 同じデータと誤差を用いた場合、$r_{010}$ シーケンスの $\chi^2$ 値が $r_{01}$ や $r_{10}$ と比較して著しく大きくなるのはなぜか？
• RQ3 $r_{02}$ 比が $r_{01}$ および $r_{10}$ と十分に相関しているため、$r_{102}$ もしくは $r_{012}$ のような単一のシーケンスに統合することが正当化されるか？
• RQ4 適切に計算された共分散行列を用いた組み合わせシーケンス $r_{102}$ もしくは $r_{012}$ を用いることで、個々の比と比較して一貫性があり信頼性の高いモデル適合が得られるか？
• RQ5 $r_{010}$、$r_{102}$、$r_{012}$ の共分散行列の条件数を比較するとどうなるか？また、これはモデル比較における数値的安定性にどのような意味を持つのか？

主な発見

• $r_{010}$ シーケンス（$r_{01}$ と $r_{10}$ を組み合わせたもの）は、一部の星（例：KIC 8379927）では $\chi^2$ 値が最大で 5.6 に達し、適合が非常に悪いことを示している。一方、個々の $r_{01}$ および $r_{10}$ シーケンスでは $\chi^2 \sim 10^{-3}$ であり、良好な一致を示している。
• KIC 6106415 では、$r_{010}$ の $\chi^2_{\text{cov}}$ は 4.1139 であるが、$r_{01}$ と $r_{10}$ ではそれぞれ 0.0002 と 0.0003 にとどまり、過剰適合による著しい異常が確認された。
• $r_{102}$ および $r_{012}$ シーケンス（$r_{10}$、$r_{01}$、$r_{02}$ を組み合わせたもの）は、個々の $r_{10}$ および $r_{02}$ の適合の平均と一致する $\chi^2_{\text{cov}}$ 値を示しており、過剰適合が生じていないことが確認された。
• $r_{010}$ 共分散行列の条件数は極めて高く（特異に近いことが示唆される）、一方 $r_{102}$ および $r_{012}$ の行列は妥当な条件数を示しており、数値的安定性が確認された。
• KIC 12069449 では、$r_{0100}$ の $\chi^2_{\text{cov}}$ は 27.518 に達するが、$r_{102}$ と $r_{012}$ の値はそれぞれ 4.883 と 3.965 であり、$r_{010}$ が著しく不安定であることが示された。
• $r_{102}$ および $r_{012}$ シーケンスは、全10個の Kepler 星において一貫性のあるモデル適合を示しており、$r_{102}$ の $\chi^2_{\text{cov}}$ 値は $r_{10}$ と $r_{02}$ の平均とよく一致しており、これらのシーケンスが過剰適合していないことが確認された。