[論文レビュー] Ranking to Learn: Feature Ranking and Selection via Eigenvector Centrality

Giorgio Roffo, Simone Melzi|arXiv (Cornell University)|Apr 18, 2017

Machine Learning in Bioinformatics参考文献 23被引用数 33

ひとこと要約

本論文では、特徴量の関係性をアフィニティグラフでモデル化することで、特徴量の重要度をEigenvector Centrality（EC）を用いて順序付けするグラフベースの特徴選択手法を提案する。この手法は、7つの多様なデータセットにおいて、最先端の精度、安定性、および効率性を達成し、7つのベンチマーク手法を上回る特徴量順序付けの質と分類性能を示しながら、低コストな計算を維持している。

ABSTRACT

In an era where accumulating data is easy and storing it inexpensive, feature selection plays a central role in helping to reduce the high-dimensionality of huge amounts of otherwise meaningless data. In this paper, we propose a graph-based method for feature selection that ranks features by identifying the most important ones into arbitrary set of cues. Mapping the problem on an affinity graph-where features are the nodes-the solution is given by assessing the importance of nodes through some indicators of centrality, in particular, the Eigen-vector Centrality (EC). The gist of EC is to estimate the importance of a feature as a function of the importance of its neighbors. Ranking central nodes individuates candidate features, which turn out to be effective from a classification point of view, as proved by a thoroughly experimental section. Our approach has been tested on 7 diverse datasets from recent literature (e.g., biological data and object recognition, among others), and compared against filter, embedded and wrappers methods. The results are remarkable in terms of accuracy, stability and low execution time.

研究の動機と目的

• 高次元データの課題に対処し、効率的かつロバストに最も関連性の高い特徴量を特定すること。
• 個々の特徴量スコアを越える依存関係を捉えるグラフベースのアプローチにより、特徴量選択を改善すること。
• 重み付きアフィニティグラフにおける特徴量の中心性に基づいて特徴量を順序付けるスケーラブルな教師あり手法を開発すること。
• 一貫したインターフェースを備えた大規模な特徴選択アルゴリズムの評価を可能にする統合的でオープンソースのMATLABライブラリ（FSLib）を提供すること。

提案手法

• 特徴量がアフィニティグラフのノードとしてマップされ、エッジは特徴量分布間のペアワイズ類似度を表す。
• エッジの重みは、カーネル化された類似度測定（例：RBF）を用いて計算され、特徴量間の判別力の強さを反映する。
• Eigenvector Centrality（EC）を用いて、各特徴量の重要度をその周辺の特徴量の重要度に基づいて評価することで、特徴量を順序付ける。
• ECスコアは重み付き隣接行列の主要固有ベクトルを用いて計算され、再帰的影響伝播を通じてグローバルな関連性を捉える。
• この手法はスケーラブルかつ並列処理可能であり、MapReduceを介した分散計算をサポートする。
• 統合されたMATLABツールボックス（FSLib）に統合され、ベンチマーク用に標準化された入出力フォーマットが提供される。

実験結果

リサーチクエスチョン

• RQ1 Eigenvector Centralityのようなグラフベースの中心性測度は、高次元データにおける特徴量の関連性を効果的に順序付けできるか？
• RQ2 提案手法であるECベースの特徴選択法は、既存のフィルタ法、ワラッパー法、埋め込み法と比較して、精度、安定性、および効率性において優れているか？
• RQ3 次元数やクラスの複雑さが異なる多様なデータセットにおいて、本手法は一貫したパフォーマンスを維持するか？
• RQ4 特徴量間の関係性をグラフベースでモデル化することで、個々の特徴量を独立して評価する手法と比較して、特徴量順序付けの質がどの程度向上するか？
• RQ5 分散コンピューティングのパラダイムを用いて、大規模またはビッグデータ用途に効率的にスケーリングできるか？

主な発見

• 提案手法であるEC-FSは、GINA手書き認識データセットで平均AUC 90.3%、MADELON人工データセットで63.7%を達成し、7つの競合手法をすべて上回った。
• コロン、プロスタート、白血病、リンパ腫がんデータセットにおいて、EC-FSは最小限の計算コストで分類精度において最良のパフォーマンスを示した。
• 100回のランダムなデータ分割において、EC-FSはベースライン手法と比較して統計的に有意な改善（p < 0.05）を示し、優れた順序付けの安定性を示した。
• GINAでは平均実行時間が1.56秒、MADELONでは0.57秒を記録し、RFE（50,163秒）よりも顕著に高速であり、他の高速手法と同等の性能を示した。
• 選択された特徴量の数が50～200に変化しても、EC-FSは一貫した順序付け品質を維持し、サブセットサイズに依存しない高い性能を発揮した。
• オープンソースのFSLib MATLABツールボックスにより、シームレスな統合と大規模なベンチマーク評価が可能となり、再現性と拡張性が確保された。