[論文レビュー] Return of the features. Efficient feature selection and interpretation for photometric redshifts

Antonio D’Isanto, S. Cavuoti+2 more|arXiv (Cornell University)|Mar 27, 2018

Remote Sensing in Agriculture参考文献 49被引用数 3

ひとこと要約

本論文は、クェーサーの赤方偏移推定のための高精度で物理的に解釈可能な特徴量を特定するための前向き特徴選択手法を提案する。SDSSデータから4,520個の合成特徴量を生成し、k-NNおよびランダムフォレストモデルを用いることで、従来の光度赤方偏移特徴量を上回る予測精度を示す予期せぬが優れた特徴量を同定した。赤方偏移範囲全体にわたり、補完的な特徴量分布のおかげで性能が向上した。

ABSTRACT

The explosion of data in recent years has generated an increasing need for new analysis techniques in order to extract knowledge from massive datasets. Machine learning has proved particularly useful to perform this task. Fully automatized methods have recently gathered great popularity, even though those methods often lack physical interpretability. In contrast, feature based approaches can provide both well-performing models and understandable causalities with respect to the correlations found between features and physical processes. Efficient feature selection is an essential tool to boost the performance of machine learning models. In this work, we propose a forward selection method in order to compute, evaluate, and characterize better performing features for regression and classification problems. Given the importance of photometric redshift estimation, we adopt it as our case study. We synthetically created 4,520 features by combining magnitudes, errors, radii, and ellipticities of quasars, taken from the SDSS. We apply a forward selection process, a recursive method in which a huge number of feature sets is tested through a kNN algorithm, leading to a tree of feature sets. The branches of the tree are then used to perform experiments with the random forest, in order to validate the best set with an alternative model. We demonstrate that the sets of features determined with our approach improve the performances of the regression models significantly when compared to the performance of the classic features from the literature. The found features are unexpected and surprising, being very different from the classic features. Therefore, a method to interpret some of the found features in a physical context is presented. The methodology described here is very general and can be used to improve the performance of machine learning models for any regression or classification task.

研究の動機と目的

• ビッグアストロノミカルデータの時代において、光度赤方偏移推定の精度を向上させる課題に取り組む。
• ブラックボックス型のディープラーニングモデルの限界を克服し、物理的に解釈可能な特徴ベースの機械学習手法を開発する。
• 従来の光度特徴量を上回る、非直感的ではあるが高精度な特徴量のセットを同定・検証する。
• 異なるモデルアーキテクチャを対象とした特徴選択手法の安定性と一般化能力を示す。
• クェーサーの赤方偏移および固有の性質に関連する特徴量の重要性の物理的解釈を可能にする。

提案手法

• SDSSクェーサーデータのマグニチュード、誤差、半径、楕円度を組み合わせて、4,520個の合成特徴量を生成する。
• k-Nearest-Neighbours (k-NN)回帰を用いて、反復的に特徴量サブセットを構築・評価する前向き選択アルゴリズムを適用する。
• k-NNの評価プロセスから特徴量ツリーを構築し、各枝が候補となる特徴量セットを表す。
• ランダムフォレスト回帰を用いて最良の特徴量セットを検証し、妥当性と一般化能力を確保する。
• 重要度分析と赤方偏移依存の特徴量評価を用いて、選択された特徴量の物理的関連性を解釈する。
• 赤方偏移ビンごとに、選択された特徴量と古典的10特徴量の性能と分布を比較する。

実験結果

リサーチクエスチョン

• RQ1 体系的かつ前向きな特徴選択手法は、赤方偏移回帰において古典的光度特徴量を著しく上回る特徴量セットを同定できるか？
• RQ2 新たに発見された特徴量の構造と分布から、どのような物理的知見が得られるか？
• RQ3 異なるモデルアーキテクチャおよび赤方偏移範囲において、選択された特徴量はどれほど安定的で一般化可能か？
• RQ4 選択された特徴量は、赤方偏移分布全体にわたり、どのように補完的な物理的情報を捉えているか？
• RQ5 本手法は、ディープラーニングモデルがしばしば達成できないように、高精度と物理的解釈可能性の両立を実現できるか？

主な発見

• 提案手法は、古典的10特徴量と比較して、あらゆる赤方偏移範囲で光度赤方偏移回帰の性能を顕著に向上させる。
• 選択された特徴量は非常に非直感的で、古典的特徴量とは構造的に著しく異なり、新規で高信号の組み合わせが同定されたことを示している。
• 最良の特徴量セットは複数回の実行において安定しており、一貫した分布パターンと最小限のモデル性能のばらつきを示している。
• 選択された特徴量は、赤方偏移空間を補完的に埋め込み、それぞれが異なる赤方偏移領域で独自の情報を提供している。
• 特徴量の重要度分析から、新しい特徴量は古典的特徴量よりも、背後にある物理的プロセスをより効果的に捉えていることが判明した。古典的特徴量は情報の集中が不十分である。
• 本手法の性能優位性は、個々の特徴量に起因するのではなく、選択されたセット内での相乗効果と分布の特性に起因している。