[논문 리뷰] Overfitting and correlations in model fitting with separation ratios

I. W. Roxburgh|arXiv (Cornell University)|2018. 08. 22.

Stellar, planetary, and galactic studies인용 수 3

한 줄 요약

이 논문은 항성진동 모델 피팅에서 분리 비율 $r_{01}$과 $r_{10}$을 단일 $r_{010}$ 시퀀스로 조합할 경우 강한 상관관계로 인해 과적합이 발생하며, 이로 인해 조건수(condition number)가 매우 큰 거의 특이 행렬이 되고, 이는 부정확한 모델 비교 결과를 초래한다. 저자들은 $r_{10}$, $r_{01}$, $r_{02}$를 적절히 유도된 공분산 행렬을 사용하여 과적합되지 않은 $r_{102}$ 또는 $r_{012}$ 시퀀스로 조합함으로써 일관되고 신뢰할 수 있는 모델 피팅을 가능하게 한다.

ABSTRACT

The $r_{01}$ and $r_{10}$ separation ratios are not independent so combing them into a single series $r_{010}$ is overfitting the data, this can lead to almost singular covariance matrices with very large condition numbers, and hence to spurious results when comparing models and observations. Since the $r_{02}$ ratios are strongly correlated with $r_{10}$ and $r_{01}$ ratios, they should be combined into a single series $r_{102}$ (or $r_{012}$), which are not overfitted, and models and observation compared using the covariance matrix $cov_{102}$ (or $cov_{012}$) of the combined set. I illustrate these points by comparing the revised Legacy Project data with my results on the 10 Kepler stars in common.

연구 동기 및 목표

• 항성진동 모델 피팅에서 $r_{01}$과 $r_{10}$ 비율을 단일 $r_{010}$ 시퀀스로 조합할 경우 과적합의 위험을 규명하는 것.
• 결과로 얻어진 $r_{010}$에 대한 공분산 행렬이 조건수(condition number)가 매우 크고 거의 특이 행렬이 되어 부정확한 모델 비교 결과를 초래하는 것을 입증하는 것.
• $r_{02}$ 비율이 $r_{01}$과 $r_{10}$과 강하게 상관되어 있음을 보여주며, 이는 과적합을 방지하기 위해 함께 다뤄야 함을 시사하는 것.
• $r_{10}$, $r_{01}$, $r_{02}$를 하나의 과적합되지 않은 시퀀스 $r_{102}$ 또는 $r_{012}$로 조합하여 더 견고한 모델-데이터 비교를 가능하게 하는 것을 제안하는 것.
• Legacy Project와 저자의 분석에 공통으로 포함된 10개의 Kepler 항성에 대해 제안된 방법을 검증하여, $r_{102}$ 또는 $r_{012}$를 사용할 경우 일관된 $χ^2$ 값이 도출됨을 보여주는 것.

제안 방법

• 표준 정의에 따라 주어진 주파수에서 $r_{01}$, $r_{10}$, $r_{02}$ 분리 비율을 주파수 차이와 정규화를 이용해 유도하는 것.
• 델타 방법을 기반으로 각 비율의 공분산 행렬을 계산하는 것: $cov(r_i, r_j) = \sum_{k,m} \frac{\partial r_i}{\partial \nu_k} cov(\nu_k, \nu_m) \frac{\partial r_j}{\partial \nu_m}$, 주파수 공분산 행렬을 기반으로 하는 것.
• 개별 비율에서 유도된 $r_{010}$, $r_{102}$, $r_{012}$ 시퀀스를 다변량 데이터로 간주하여 전체 공분산 구조를 갖는 것으로 처리하는 것.
• 통합 시퀀스의 전체 공분산 행렬을 사용하여 $\chi^2$ 통계량을 계산함으로써 모델 피팅 품질을 평가하는 것.
• Legacy Project에서 MCMC를 통해 유도된 공분산 행렬과 저자가 최대우도 추정을 통해 별도로 유도한 행렬을 모두 사용하여 결과를 비교하는 것.
• 과적합으로 인한 거의 특이 행렬을 감지하기 위해 결과로 얻어진 공분산 행렬의 조건수를 평가하는 것.

실험 결과

연구 질문

• RQ1 항성진동 모델 피팅에서 $r_{01}$과 $r_{10}$을 단일 $r_{010}$ 시퀀스로 조합할 경우 과적합과 불안정한 공분산 행렬이 발생하는가?
• RQ2 동일한 데이터와 오차를 사용할 때, 왜 $r_{010}$ 시퀀스의 $\chi^2$ 값이 $r_{01}$과 $r_{10}$에 비해 비정상적으로 큰가?
• RQ3 $r_{02}$ 비율이 $r_{01}$과 $r_{10}$과 충분히 상관되어 있어 $r_{102}$나 $r_{012}$와 같이 하나의 시퀀스로 통합하는 것이 타당한가?
• RQ4 적절히 계산된 공분산 행렬을 사용한 통합 시퀀스 $r_{102}$ 또는 $r_{012}$를 사용할 경우, 개별 비율 대비 일관되고 신뢰할 수 있는 모델 피팅이 이루어지는가?
• RQ5 $r_{010}$, $r_{102}$, $r_{012}$의 공분산 행렬 조건수를 비교하면 어떻게 되며, 이는 모델 비교의 수치적 안정성에 어떤 함의를 갖는가?

주요 결과

• $r_{010}$ 시퀀스는 $r_{01}$과 $r_{10}$을 조합하여 생성되며, 일부 별들(예: KIC 8379927)에서는 $\chi^2$ 값이 최대 5.6에 이르며 나쁜 피팅을 나타내지만, 개별 $r_{01}$과 $r_{10}$ 시퀀스는 $\chi^2 \sim 10^{-3}$로 매우 좋은 일치를 보임.
• KIC 6106415의 경우, $r_{010}$의 $\chi^2_{\text{cov}}$는 4.1139이지만, $r_{01}$과 $r_{10}$의 경우 각각 0.0002와 0.0003으로 매우 낮아 과적합으로 인한 심각한 이질성을 보여줌.
• $r_{102}$와 $r_{012}$ 시퀀스는 $r_{10}$, $r_{01}$, $r_{02}$를 조합하여 생성되며, 이들의 $\chi^2_{\text{cov}}$ 값은 개별 $r_{10}$과 $r_{02}$ 피팅의 평균과 일치하여 과적합이 없음을 나타냄.
• $r_{010}$ 공분산 행렬의 조건수는 매우 높아 거의 특이 행렬임을 시사하지만, $r_{102}$와 $r_{012}$의 행렬은 합리적인 조건수를 보이며 수치적 안정성을 확인함.
• KIC 12069449의 경우, $r_{0100}$의 $\chi^2_{\text{cov}}$는 27.518에 이르지만, $r_{102}$와 $r_{012}$의 값은 각각 4.883과 3.965로 나타나 $r_{010}$이 매우 불안정함을 보여줌.
• $r_{102}$와 $r_{012}$ 시퀀스는 모든 10개의 Kepler 항성에서 일관된 모델 피팅을 제공하며, $r_{102}$의 $\chi^2_{\text{cov}}$ 값이 $r_{10}$과 $r_{02}$의 평균과 매우 유사하여 이 시퀀스가 과적합되지 않았음을 확인함.