[論文レビュー] Comparing Classification Models on Kepler Data

Rohan Saha|arXiv (Cornell University)|Jan 1, 2019

Astronomy and Astrophysical Research被引用数 4

ひとこと要約

本研究では、ケプラー系の系外惑星候補データに対してロジスティック回帰、決定木、ニューラルネットワークを評価し、注目対象オブジェクト（KOI）を真の系外惑星候補か偽陽性かに分類する。特徴量選択、反復的補完、5分割交差検証を用い、決定木（最大深さ=6）が適合率・再現率および統計的検定において他を上回り、偽陽性を最小限に抑えて真の候補を効果的に絞り込む上で優れた信頼性を示した。

ABSTRACT

Even though the original Kepler mission ended due to mechanical failures, the Kepler satellite continues to collect data. Using classification models, we can understand the features exoplanets possess and then use those features to investigate further for any more information on the candidate planet. Based on the classification model, the idea is to find out the probability of the planet under observation being a candidate for an exoplanet or a false positive. If the model predicts that the observation is a candidate for being an exoplanet, then the further investigation can be conducted. From the model, we can narrow down the features that might explain the difference between a candidate and a false-positive which ultimately helps us to increase the efficiency of any model and fine-tune the model and ultimately the process of searching for any future exoplanets. The model comparison is supported by McNemar's test for checking significance.

研究の動機と目的

• ケプラーの注目対象オブジェクト（KOI）を真の候補か偽陽性かに分類することで、系外惑星候補の検出効率を向上させること。
• 機械学習を用いて真の系外惑星候補と偽陽性を区別するための重要な特徴量を特定すること。
• 適合率・再現率、AUC-ROC、McNemar検定などの複数の評価指標を用いて、ケプラーデータ上でのロジスティック回帰、決定木、ニューラルネットワークの性能を比較すること。
• 系外惑星発見パイプラインにおいて、偽陽性を最小限に抑えながら再現率を最大化する最適なモデルを特定すること。
• 交差検証とMcNemar検定などの統計的検定を用いてモデルの性能を検証し、妥当性を保証すること。

提案手法

• koi_depth および koi_duration といったトランジット関連特徴量に注目し、9,564個のKOIに対して探索的データ分析（EDA）を実施した。
• ピアソン相関を用いて18個の高相関特徴量を手動で除外することで次元削減を実施した。
• scikit-learnの反復的補完を適用し、他の特徴量に基づいた特徴量分布をモデル化することで欠損値を処理した。
• 訓練用データ（7,651サンプル）とテスト用データ（1,913サンプル）に80%:20%で分割し、訓練セットで5分割交差検証を実施してハイパーパrameterを最適化した。
• ロジスティック回帰、最大深さ=6の決定木、バッチサイズ10および100の2層フィードフォワードニューラルネットワークの3つのモデルを学習・評価した。
• 適合率・再現率曲線、ROC-AUC、McNemar検定を用いて、モデル間の予測不一致と性能差の統計的有意性を比較した。

実験結果

リサーチクエスチョン

• RQ1 どの機械学習モデルが、ケプラーのKOIを系外惑星候補か偽陽性かに分類する際に最も優れた性能を示すか？
• RQ2 koi_depth および koi_duration といった主要なトランジット特徴量は、モデルの予測や分類性能にどのように影響を与えるか？
• RQ3 ロジスティック回帰、決定木、ニューラルネットワークの間で、予測不一致に統計的に有意な差があるか？
• RQ4 モデル選択において、精度だけが十分か、それとも適合率と再現率の両方が系外惑星発見においてより重要か？
• RQ5 特徴量選択と補完処理は、ノイズの多い天文学的データにおけるモデルの汎化性能を向上させ、過学習を軽減できるか？

主な発見

• 最大深さ=6の決定木モデルが、適合率と再現率のバランスが最も良く、再現率がほぼ100%に近い状態でも高い適合率を維持した。
• ロジスティック回帰は、再現率が98%を超えた時点で適合率が急激に低下し、高再現率領域での無関係な予測の割合が顕著に高まった。
• ニューラルネットワーク（バッチサイズ100）は精度では同等の性能を示したが、再現率が97.5%を超えたあたりから適合率が急激に低下し、決定木に次いで劣った。
• McNemar検定の結果、ロジスティック回帰と決定木の間（p=0.012）、決定木とニューラルネットワークの間（p=0.0044）で、予測不一致に統計的に有意な差が認められたが、ロジスティック回帰とニューラルネットワークの間では有意差がなかった（p=0.5）。
• 精度は類似していたが、適合率・再現率性能が優れており、偽陽性リスクが低いことから、決定木モデルが最適とされた。
• 本研究では、系外惑星分類において精度のみに依存することは不十分であることが確認された。後続調査のコストを最小限に抑えるには、適合率と再現率がより重要である。