[論文レビュー] Feature Importance Ranking for Deep Learning

Maksymilian Wojtas, Ke Chen|arXiv (Cornell University)|Oct 18, 2020

Machine Learning and Data Classification参考文献 23被引用数 76

ひとこと要約

デュアルネットアーキテクチャ（オペレータとセレクタ）を提案し、深層学習において最適な固定サイズの特徴サブセットを発見し、特徴の重要性をランク付けする。交互学習と確率的局所探索を用いて組合せ最適化に対処し、合成データ、ベンチマーク、実データセットにわたってFIRと特徴選択性能の優越性を示す。

ABSTRACT

Feature importance ranking has become a powerful tool for explainable AI. However, its nature of combinatorial optimization poses a great challenge for deep learning. In this paper, we propose a novel dual-net architecture consisting of operator and selector for discovery of an optimal feature subset of a fixed size and ranking the importance of those features in the optimal subset simultaneously. During learning, the operator is trained for a supervised learning task via optimal feature subset candidates generated by the selector that learns predicting the learning performance of the operator working on different optimal subset candidates. We develop an alternate learning algorithm that trains two nets jointly and incorporates a stochastic local search procedure into learning to address the combinatorial optimization challenge. In deployment, the selector generates an optimal feature subset and ranks feature importance, while the operator makes predictions based on the optimal subset for test data. A thorough evaluation on synthetic, benchmark and real data sets suggests that our approach outperforms several state-of-the-art feature importance ranking and supervised feature selection methods. (Our source code is available: https://github.com/maksym33/FeatureImportanceDL)

研究の動機と目的

• 深層学習における集団規模の特徴重要度ランキング（FIR）問題に対処する。
• セレクタからのサブセット候補を用いてオペレータが学習するデュアルネットアーキテクチャを開発する。
• 確率的局所探索で強化された交互学習アルゴリズムで、オペレータとセレクタを共同訓練する。
• 最適サブセット内の特徴重要度をランク付けしつつ、良好な予測性能を維持する。
• 複数データセットにわたって、提案手法が最先端のFIRおよび教師あり特徴選択法を上回ることを示す。

提案手法

• 監督学習用のオペレータネットと最適な特徴サブセットを提案するセレクタネットを備えたデュアルネットアーキテクチャを導入する。
• FIRを、固定サイズサブセット上で全インスタンスに対する平均オペレータ性能を最大化することとして定式化する。
• 候補サブセットに対するオペレータ損失L_Oと、サブセットからオペレータ性能を予測するセレクタ損失L_Sという2つの損失でモデル訓練を行う。
• 探索と活用を組み合わせた交互学習手順を用いて、確率的局所探索と勾配ベースのランキングを含む候補サブセットを生成する。
• 展開時にはセレクタを用いて最適サブセットを特定し、そのサブセットを用いてテストデータに対して予測を行うオペレータを使用する。
• 合成データ、ベンチマークデータ、および実データセットを横断した評価を行い、複数のFIRおよび特徴選択のベースラインと比較する。

実験結果

リサーチクエスチョン

• RQ1 ターゲットサブセットサイズが固定されている場合、深層学習におけるFIRをどのように効果的に実行できるか？
• RQ2 予測性能を維持しつつ、デュアルネットアーキテクチャが最適な特徴サブセットを同時に学習し、特徴重要度をランク付けできるか？
• RQ3 確率的局所探索を導入することで、組合せ特徴サブセット空間の最適化が改善されるか？
• RQ4 提案手法は、さまざまなデータセットにおいて最先端のFIRおよび教師あり特徴選択法とどのように比較されるか？

主な発見

• 提案されたデュアルネット手法は、合成データ・ベンチマーク・実データセットの各領域で、いくつかの最先端FIRおよび教師あり特徴選択法を上回る。
• セレクタは特徴サブセット上でオペレータ性能を予測することを学習し、最適サブセットの探索を導く。
• オペレータはセレクタによって生成された最適サブセットを用いて予測タスクを学習し、サブセットの品質とモデル性能の両方を向上させる。
• 実験は、複数のデータセットで関連特徴の正確な同定と有意なFIRスコア（勾配）を示す。
• 本手法は集団規模FIRおよび特徴選択への適用性を示し、大規模データセットへのスケーラビリティの可能性を持つ。