[論文レビュー] BELIEF: A distance-based redundancy-proof feature selection method for Big Data

Sergio Ramírez‐Gallego, Salvador García+2 more|arXiv (Cornell University)|Apr 16, 2018

Machine Learning and Data Classification被引用数 5

ひとこと要約

BELIEF は、特徴の共起を活用して特徴間の依存関係をほぼゼロの計算コストで推定することで、スケーラビリティを向上させるとともに、冗長性の除去を実現する分散型で距離に基づく特徴重み付けアルゴリズムである。1000万件のインスタンスと1万次元の特徴を有するデータセットにおいて、DiReliefF や DmRMR と比較して実行時間効率と特徴選択の正確性の両面で優れている。特に低サンプリングレート下でも顕著な性能を示す。

ABSTRACT

With the advent of Big Data era, data reduction methods are highly demanded given its ability to simplify huge data, and ease complex learning processes. Concretely, algorithms that are able to filter relevant dimensions from a set of millions are of huge importance. Although effective, these techniques suffer from the "scalability" curse as well. In this work, we propose a distributed feature weighting algorithm, which is able to rank millions of features in parallel using large samples. This method, inspired by the well-known RELIEF algorithm, introduces a novel redundancy elimination measure that provides similar schemes to those based on entropy at a much lower cost. It also allows smooth scale up when more instances are demanded in feature estimations. Empirical tests performed on our method show its estimation ability in manifold huge sets --both in number of features and instances--, as well as its simplified runtime cost (specially, at the redundancy detection step).

研究の動機と目的

• Apache Spark の MLlib のような大規模機械学習ライブラリにおいて、スケーラブルで冗長性を考慮した特徴重み付けアルゴリズムの不足を解消すること。
• 数百万の特徴とインスタンスを有する Big Data に適用する際、従来の特徴選択手法（例：RELIEF）のスケーラビリティの限界を克服すること。
• インスタンス単位の推定からパーティション単位の推定に移行することで、ネットワーク I/O と計算コストを最小限に抑えた分散型特徴重み付けアルゴリズムの開発。
• 特徴間の距離と共起性を用いて、冗長な特徴を効率的に検出・削除する、組み込み型の冗長性除去メカニズムの導入。
• 最小限のサンプリング（例：1%）で高精度な特徴選択を実現しつつ、実行時間コストを低く抑え、強力なスケーラビリティを達成すること。

提案手法

• Apache Spark 向けに設計された分散版の RELIEF アルゴリズム（BELIEF）を提案し、大規模データセットの並列処理を可能にする。
• 通信をローカルパーティションに制限することで、近隣探索の最適化を図り、ネットワークオーバーヘッドを低減し、スケーラビリティを向上させる。
• インスタンス単位の特徴重み推定をパーティション単位の集約に置き換えることで、計算コストを低減し、動的スケーリングをサポートする。
• 特徴の共起に基づく新規な冗長性検出メカニズム（mCR）を導入し、重み推定時に計算された距離を用いて冗長な特徴を特定・削除する。
• 重み推定時に得られる距離に基づく共起パターンを用いて、情報理論的冗長性測定の近似を著しく低い計算コストで実現する。
• 変動するサンプリングレートをサポートし、全データの1%程度のサンプルでも正確な特徴重み付けを可能にするとともに、多様なデータスケールで性能を検証する。

実験結果

リサーチクエスチョン

• RQ1 数百万の特徴とインスタンスを有する Big Data において、分散型特徴重み付けアルゴリズムが高精度かつ低実行時間コストを達成できるか？
• RQ2 特徴の共起に基づく提案された冗長性除去メカニズムは、エントロピーに基づく手法と比較して、正確性と効率性の面でどのように差をつけるか？
• RQ3 大規模な環境下で、計算コストを最小限に抑えつつ高精度な特徴選択を維持するための最適なサンプリングレートは何か？
• RQ4 BELIEF は、DiReliefF や DmRMR といった既存の分散型特徴選択手法に比べ、正確性と速度の両面でどれほど優れているか？
• RQ5 データ量の増加に伴って、実行時間や通信オーバーヘッドが比例的に増加することなく、効果的にスケーリングできるか？

主な発見

• BELIEF は、1% のデータをサンプリングする場合でも、F1 スコアが安定して高く（最大 0.95）、低サンプリングレート下でも頑健で正確であることが示された。
• 1% サンプリング時、BELIEF は DmRMR よりも最大 70% の実行時間を短縮しながら、特徴選択の正確性を維持または向上させた。
• mCR 冗長性検出メカニズムは、最先端の情報理論的手法とほぼ同等の選択スキームを生成したが、はるかに低い計算コストで実現した。
• 1000万インスタンスと1万次元の特徴を有するデータセットを用いた実験により、BELIEF のスケーラビリティと、多様なデータタイプや密度における一貫性ある性能が確認された。
• 過度に小さなサンプリングレート（例：100インスタンス）では F1 スコアが著しく低下し、信頼できる推定には十分なサンプリングの必要性が確認された。
• BELIEF は、DiReliefF や DmRMR と比較して、特に低サンプリングおよび高次元の状況下で、実行時間と正確性の両面で優れた性能を示した。