[論文レビュー] Feature Selection with Distance Correlation

Ranit Das, Gregor Kasieczka+1 more|arXiv (Cornell University)|Nov 30, 2022

Machine Learning in Materials Science被引用数 4

ひとこと要約

本論文は、高エネルギー物理学におけるジェットタギングのための最も情報量の多いエネルギーフローコエフシェント（EFPs）を特定する、距離相関（DisCo）に基づく新しいフォワード特徴選択手法を提案する。7,000以上の候補からわずか9つのEFPを選択することで、大幅に少ないパラメータ数でコンactなDNNを用いて、ほぼ最先端の性能を達成し、AIDOベースの選択法よりも優れた性能を発揮する。

ABSTRACT

Choosing which properties of the data to use as input to multivariate decision algorithms -- a.k.a. feature selection -- is an important step in solving any problem with machine learning. While there is a clear trend towards training sophisticated deep networks on large numbers of relatively unprocessed inputs (so-called automated feature engineering), for many tasks in physics, sets of theoretically well-motivated and well-understood features already exist. Working with such features can bring many benefits, including greater interpretability, reduced training and run time, and enhanced stability and robustness. We develop a new feature selection method based on Distance Correlation (DisCo), and demonstrate its effectiveness on the tasks of boosted top- and $W$-tagging. Using our method to select features from a set of over 7,000 energy flow polynomials, we show that we can match the performance of much deeper architectures, by using only ten features and two orders-of-magnitude fewer model parameters.

研究の動機と目的

• 高エネルギー物理学における多次元ジェットタギングのための、より効率的かつ効果的な特徴選択手法の開発。
• 特にトリガー系における軽量な推論を想定し、入力特徴の数を削減しながら分類器の性能を維持または向上すること。
• 事前に訓練された参照モデルを必要とせずに、ブラックボックス分類器の訓練と解釈を両立可能にする。
• ADOに代表される従来のフォワード特徴選択技術を、より頑健な統計的依存度測定法を用いて改善すること。

提案手法

• 候補特徴とターゲットラベル（信号対背景）の間の統計的依存度を測るスコア関数として距離相関（DisCo）を用いる。
• フォワード選択戦略を適用：まず、ターゲットに対して最大のDisCoスコアを持つEFPを選び、その後残りの特徴をすでに選択されたセットを条件として再スコアリングする。
• パラメトリックでなく、アフィン不変な依存度測定法を用い、ピアソン相関とは異なり線形および非線形関係を捉える。
• 上位ランクのEFPのみを入力として使用するコンパクトな深層ニューラルネットワーク（DNN）を訓練し、高速な推論とモデル複雑度の低減を実現する。
• 2つの運用モードをサポートする：(1) 真値ラベルを用いたアバイトゥー訓練、(2) 事前に訓練されたブラックボックス分類器の解釈。
• 標準的なジェットタギングベンチマーク（ブーストドトップクォークおよびWボソンジェット）を用いて性能を検証し、シミュレーテッドジェットイベントから導出されたEFPを用いる。

実験結果

リサーチクエスチョン

• RQ1 距離相関に基づく特徴選択は、ADOのような従来手法を上回るのか？特にジェットタギングのための最も情報量の多いEFPを特定する点で。
• RQ2 DisCoによる選択で得られた少数のEFPは、全特徴セットを用いて訓練されたディープラーニングモデルの性能にどの程度近づけるのか？
• RQ3 事前に訓練された参照分類器に依存しない状況でも、DisCoベースの手法は高い性能を維持できるのか？
• RQ4 最先端アーキテクチャと比較して、選択された特徴セットはモデル効率性、パラメータ数、推論速度の点でどの程度優れているのか？

主な発見

• DisCoベースの手法は、7,000以上の候補からわずか9つのEFPを選択することで、ブーストドトップタギングにおいてほぼ最先端の性能を達成し、ParticleNet-Liteと同等の拒否能力を示した。
• 選択された9つのEFPを入力として訓練されたコンパクトなDNNは、ParticleNet-Liteに比べて2桁少ないパラメータ数を用い、高速な推論と低コストなトレーニングを実現した。
• トップおよびWタギングの両タスクにおいて、[30]で提示されたADOベースの特徴選択法を上回り、より少ない特徴数で優れた性能を達成した。
• DisCo手法は、真値ラベルから直接訓練する状況でも強く優れた性能を示したのに対し、ADO手法は同様の条件下で著しく性能が低下した。
• 選択されたEFPは非常に情報量が多く、ジェットサブストラクチャーにおける複雑な非線形相関を捉えており、識別に不可欠な要因を担っている。
• 理論的に根拠を持つ少数の特徴を的確に選択することで、膨大で処理されていない入力を用いて訓練されたディープラーニングモデルと同等の性能を達成できることが示された。