[論文レビュー] FSinR: an exhaustive package for feature selection

Francisco Aragón-Royón, Alfonso Jiménez-Vílchez+2 more|arXiv (Cornell University)|Feb 24, 2020

Machine Learning and Data Classification参考文献 30被引用数 10

ひとこと要約

FSinR は、16 種類の一般的に使用されるフィルタ法と caret パッケージからの 238 種類のラッパー法を統合し、13 種類の探索アルゴリズムを組み合わせた包括的で統一されたフレームワークを提供する R パッケージです。このパッケージは、多様なデータ型と機械学習タスクにおいて、包括的で柔軟性に富み、ユーザーフレンドリーな特徴選択を可能にし、既存の CRAN パッケージと比較して優れた耐性、拡張性、統合性を実現しています。

ABSTRACT

Feature Selection (FS) is a key task in Machine Learning. It consists in selecting a number of relevant variables for the model construction or data analysis. We present the R package, FSinR, which implements a variety of widely known filter and wrapper methods, as well as search algorithms. Thus, the package provides the possibility to perform the feature selection process, which consists in the combination of a guided search on the subsets of features with the filter or wrapper methods that return an evaluation measure of those subsets. In this article, we also present some examples on the usage of the package and a comparison with other packages available in R that contain methods for feature selection.

研究の動機と目的

• 多様な特徴選択手法を統合する包括的で拡張可能かつ使いやすい R パッケージの不足を解消すること。
• フィルタ法とラッパー法を組み合わせ、複数の探索戦略を備えた、堅牢でスケーラブルな特徴選択ソリューションを提供すること。
• caret パッケージに利用可能なすべてのモデルをラッパー評価指標として統合し、手法の多様性と信頼性を向上させること。
• 一貫性のある一様なインターフェースと内部の型チェックを導入することで、パラメータの取り扱いの信頼性を高め、使いやすさを向上させること。
• 数値型・カテゴリカル型のさまざまなデータ型と分類・回帰のさまざまな問題タイプをサポートすることで、汎用性を高めること。

提案手法

• 16 種類の標準的なフィルタ法（例：相関ベース、分散閾値、情報量ゲイン）を用いて、特徴量を独立して評価する。
• caret パッケージに含まれる 238 種類の分類および回帰モデルをすべてラッパー評価指標として活用し、モデル駆動の特徴量評価を可能にする。
• これらの手法を 13 種類の探索アルゴリズム（例：ベストファースト、遺伝的アルゴリズム、再帰的特徴量削除）と組み合わせ、特徴量サブセット空間を効率的に探索する。
• すべての手法に一様な関数インターフェースを採用することで、ユーザーが一貫的かつ直感的に利用できるようにする。
• 内部での検証により、入力パラメータの型と互換性をチェックし、信頼性を高め、ユーザーの誤りを低減する。
• 分類および回帰タスクをサポートし、数値型・カテゴリカル型の混合データ型をシームレスに処理する。

実験結果

リサーチクエスチョン

• RQ1 多様な探索戦略を備えた、広範なフィルタ法およびラッパー法を統合する包括的な R パッケージをどのように設計できるか？
• RQ2 caret モデルをすべてラッパー評価指標として統合することで、手法のカバレッジと性能の耐性にどのような利点が得られるか？
• RQ3 既存の特徴選択に特化した CRAN パッケージと比較して、FSinR は機能性、使いやすさ、拡張性においてどのように優れているか？
• RQ4 一貫したインターフェースと内部検証が、ユーザー体験をどれほど向上させ、実装エラーをどれほど低減できるか？
• RQ5 多様な評価指標と包括的探索を組み合わせた特徴選択ツールは、特定用途に特化した、または機能が限定された代替手法を上回る性能を発揮できるか？

主な発見

• FSinR は 16 種類のフィルタ法と caret パッケージの 238 種類のラッパー法をサポートしており、大多数の既存 R パッケージと比較して、著しく広範な手法カバレッジを実現している。
• 任意のフィルタ法またはラッパー法を、13 種類の探索アルゴリズムのいずれとも組み合わせられ、非常に柔軟かつ包括的な特徴選択パイプラインを提供する。
• FSelector とは異なり、探索統合がなく、選択された特徴量のみを返すのに対し、FSinR は詳細な評価指標とプロセスの透明性を提供する。
• 一様なインターフェースと内部の型チェックにより、使いやすさが向上し、エラーが低減され、Boruta や spSFR といった単一手法ソリューションに比べてより信頼性が高くなっている。
• 拡張性と汎用性において他のパッケージを上回っており、すべてのデータ型と問題タイプ（分類、回帰）を一貫性を持たせて、文書化された機能でサポートする。
• caret のモデルをラッパーとして統合することで、高い信頼性と最先端の評価技術へのアクセスが可能となり、機械学習における特徴選択の包括的ソリューションとしての FSinR の役割を強化している。