[論文レビュー] Ensembling improves stability and power of feature selection for deep learning models

Prashnna Gyawali, Xiaoxia Liu+2 more|arXiv (Cornell University)|Oct 2, 2022

Machine Learning and Data Classification被引用数 5

ひとこと要約

この論文は、深層学習モデルにおける特徴選択の安定性と精度を向上させるために、複数の学習エポックおよびハイパーパramータ設定における特徴重要度スコアをアンサンブル化する手法を提案する。単一の最良モデルに依存するのではなく、多数の高性能モデルからのスコアを集約することにより、特に信号強度が低いか特徴間相関が高い状況下でも、選択の安定性と統計的パワーが著しく向上する。

ABSTRACT

With the growing adoption of deep learning models in different real-world domains, including computational biology, it is often necessary to understand which data features are essential for the model's decision. Despite extensive recent efforts to define different feature importance metrics for deep learning models, we identified that inherent stochasticity in the design and training of deep learning models makes commonly used feature importance scores unstable. This results in varied explanations or selections of different features across different runs of the model. We demonstrate how the signal strength of features and correlation among features directly contribute to this instability. To address this instability, we explore the ensembling of feature importance scores of models across different epochs and find that this simple approach can substantially address this issue. For example, we consider knockoff inference as they allow feature selection with statistical guarantees. We discover considerable variability in selected features in different epochs of deep learning training, and the best selection of features doesn't necessarily occur at the lowest validation loss, the conventional approach to determine the best model. As such, we present a framework to combine the feature importance of trained models across different hyperparameter settings and epochs, and instead of selecting features from one best model, we perform an ensemble of feature importance scores from numerous good models. Across the range of experiments in simulated and various real-world datasets, we demonstrate that the proposed framework consistently improves the power of feature selection.

研究の動機と目的

• トレーニングの確率的要因および非凸最適化による深層ニューラルネットワークにおける特徴重要度スコアの不安定性を解消すること。
• 低信号強度および高特徴相関が特徴付与および選択における不安定性を悪化させるメカニズムを調査すること。
• 学習エポックおよびハイパーパramータ設定にわたるモデルアンサンブルを活用して、特徴選択の信頼性を向上させるフレームワークを開発すること。
• ノックオフ推論を用いて、フレームワークの有効性を検証し、特徴選択の安定性と統計的パワーを向上させること。
• ノックオフ手法に限らず、深層学習における他の特徴選択手法へも一般化可能なアプローチを提供すること。

提案手法

• 複数のランダム初期化およびハイパーパramータ設定で深層ニューラルネットワークを学習し、多様なモデルパスを生成する。
• 交差検証損失に基づいて「良い」モデルを選別し、検証損失が最も低い上位25%のモデルを対象とする。
• 選別されたモデルからの特徴重要度スコアを単純平均することでアンサンブルスコアを形成する。
• アンサンブルスコアにノックオフ推論を適用し、制御された誤発見率（FDR）で特徴選択を実行する。
• 実世界の応用において安定性と検出パワーを向上させるために、1つのデータセットに対して複数のノックオフサンプルを用いる。
• 単一の最良モデル（最小CV損失）に依存する従来手法と比較して、アンサンブルベースの特徴選択を検証する。

実験結果

リサーチクエスチョン

• RQ1 深層学習モデルにおけるトレーニングの確率的要因が、特徴重要度スコアの不安定性と一貫性の欠如を引き起こす程度はどの程度か？
• RQ2 低信号強度や高特徴相関といったデータ特性が、特徴重要度および選択の安定性に与える影響は何か？
• RQ3 複数の学習エポックおよびハイパーパラメータ設定における特徴重要度スコアのアンサンブル化が、特徴選択の安定性とパワーを向上させられるか？
• RQ4 アンサンブル手法は、単一の最良モデル（最小検証損失）から特徴を選択する従来手法に比べ、選択の一貫性および統計的パワーの面で優れているか？
• RQ5 提案されたフレームワークは、高次元特徴および低信号対雑音比を示す実世界の生物学的データセットに対しても、効果的に適用可能か？

主な発見

• 深層学習モデルからの特徴重要度スコアは、同じ検証性能を達成していても、トレーニングランごとに著しく不安定であることが判明した。
• 最小検証損失に基づく最良モデルが、常に最も安定的または強力な特徴選択をもたらすわけではない。特に信号が弱いか、特徴間相関が高い状況下で顕著である。
• 学習エポックにわたる上位パフォーマンスモデルからの特徴重要度スコアをアンサンブル化することで、選択のばらつきが顕著に低減され、安定性が向上した。
• アンサンブルフレームワークは、FDR（q=0.2）を制御しながら選択される特徴数を増やし、特徴選択における統計的パワーが向上していることを示した。
• 実世界のデータセット（プロテオミクス、乳癌、ピマ・ダイアベティス）において、アンサンブル手法は最良の単一モデルや単純平均法よりも多くの特徴を選択し、優れたパワーを示した。
• このフレームワークは、トレーニングパスにおける低品質なモデルの影響を効果的に軽減し、より強固で信頼性の高い特徴選択結果をもたらした。