[論文レビュー] Efficient Wrapper Feature Selection using Autoencoder and Model Based Elimination

Sharan Ramjee, Aly El Gamal|arXiv (Cornell University)|May 28, 2019

Machine Learning in Bioinformatics参考文献 26被引用数 4

ひとこと要約

本稿では、再訓練を繰り返さずに勾配降下後退法を実行できる計算効率の高いラッパー特徴選択手法AMBERを提案する。この手法は、自己符号化器を用いた相関特徴の検出と、一度だけ学習するランカー・モデルによる関連性スコアの算出を組み合わせており、再訓練を伴わないグリーディバックワードエリミネーションを可能にしている。AMBERは、複数のデータセットでベースライン手法を上回る分類精度を達成しており、特にRadioML2016.10bでは特徴数を256から64に削減した後も99%の精度を達成した。従来のラッパー手法と比較して、計算コストを大幅に削減しながらも優れた性能を示している。

ABSTRACT

We propose a computationally efficient wrapper feature selection method - called Autoencoder and Model Based Elimination of features using Relevance and Redundancy scores (AMBER) - that uses a single ranker model along with autoencoders to perform greedy backward elimination of features. The ranker model is used to prioritize the removal of features that are not critical to the classification task, while the autoencoders are used to prioritize the elimination of correlated features. We demonstrate the superior feature selection ability of AMBER on 4 well known datasets corresponding to different domain applications via comparing the classification accuracies with other computationally efficient state-of-the-art feature selection techniques. Interestingly, we find that the ranker model that is used for feature selection does not necessarily have to be the same as the final classifier that is trained on the selected features. Finally, we note how a smaller number of features can lead to higher accuracies on some datasets, and hypothesize that overfitting the ranker model on the training set facilitates the selection of more salient features.

研究の動機と目的

• 各イテレーションで分類器を再訓練する必要がある従来のラッパー特徴選択手法の高い計算コストを低減すること。
• 通常のラッパー手法が特徴相関を無視するのに対し、自己符号化器による冗長性検出を統合することで、特徴選択の精度を向上させること。
• ランカー・モデルを一度だけ学習することで、訓練時間を短縮しつつも高い分類性能を維持すること。
• ランカー・モデルの過学習が、重要特徴と非重要特徴の関連性スコアの差をどのように変化させるかを調査すること。
• 特に高次元設定において、フィルター手法の計算効率とラッパー手法の高い性能の両方を兼ね備えること。

提案手法

• AMBERは、事前に訓練された1つのランカー・モデル（例：ニューラルネットワーク）を用い、学習後に入力層の重みの大きさに基づいて特徴の関連性スコアを割り当てる。
• 自己符号化器をデータセット上で事前に学習させ、相関する特徴を特定・グループ化することで、冗長特徴の検出を可能にする。
• ランカー・モデルによる関連性スコアと、自己符号化器の再構成誤差による冗長性スコアを組み合わせた複合スコアを用いて特徴を順位付けし、削除の対象とする。
• グリーディバックワードエリミネーションを実行する際、各ステップで最も関連性が低く、かつ最も冗長な特徴を順次削除する。
• 最終的な特徴サブセットは、削減された特徴セット上でランカー・モデルの性能に基づいて選択され、完全な再訓練なしにモデル精度をシミュレートする。
• 延長されたエポック数でランカー・モデルを過学習させることで、重要特徴と非重要特徴の重みの大きさの差が明確になり、関連性スコアの識別精度が向上する。

実験結果

リサーチクエスチョン

• RQ1 一度だけ学習するランカー・モデルと自己符号化器を組み合わせることで、計算コストを大幅に削減しながらも、競争力のある特徴選択精度を達成できるか？
• RQ2 自己符号化器による冗長性検出をラッパー手法に統合することで、標準的なラッパー手法と比較して特徴選択性能が向上するか？
• RQ3 ランカー・モデルを過学習させることで、重要特徴と非重要特徴の関連性スコアの差が明確になるか？
• RQ4 多様な実世界のデータセットにおいて、AMBERは最先端のフィルター法およびラッパー法と比較して、精度と効率の両面で優れているか？
• RQ5 AMBERによる特徴削減は、高次元データセットにおける過学習をどれほど軽減し、一般化性能を向上させるか？

主な発見

• AMBERは、4つのベンチマークデータセットで、比較対象の最先端手法をすべて上回る分類精度を達成した。特にRadioML2016.10bでは、特徴数を256から64に削減した後も99%の精度を達成した。
• ウィ sclerosisがんデータセットでは、AMBERが全特徴を使用したモデルを上回る精度を示し、ノイズや冗長な特徴を除去することで過学習を軽減したと示唆された。
• RadioML2016.10bデータセットでは、全256特徴を使用した場合の精度が93%であったのに対し、64個の選択特徴を使用した場合に99%に上昇した。これは、ノイズと冗長性の効果的な低減を示している。
• PCA可視化により、AMBERは削減された特徴空間におけるクラス分離性を向上させたことが確認された。特に、従来は誤分類されていたAM-DSMおよびWBFMクラスの分離性が改善された。
• ランカー・モデルをより多くのエポック数で過学習させることで、重要特徴と非重要特徴の入力層重みの大きさの差が拡大し、関連性スコアの識別性能が向上した。
• 従来のラッパー手法（各イテレーションで再訓練が必要）に比べて、AMBERは著しく短い時間で処理が可能だったが、最も高速なフィルター手法よりはわずかに時間がかかった。結果として、速度と精度の両面で優れたバランスを達成した。