[論文レビュー] Towards Large-scale and Ultrahigh Dimensional Feature Selection via Feature Generation

Mingkui Tan, Ivor W. Tsang+1 more|arXiv (Cornell University)|Sep 24, 2012

Face and Expression Recognition被引用数 4

ひとこと要約

本稿では、半無限計画法を用いて大規模かつ超高次元特徴選択を実現するため、特徴生成手法と組み合わせた適応的特徴スケーリング（AFS）スキームを提案する。スケーリングバイアスを扱うためにAFSモデルを再定式化し、正確な最悪ケース解析を可能にすることで、グローバル収束を達成し、構造的グループ選択をサポートする。この手法は、多様なデータセットにおいて一般化性能と学習効率の面で、既存手法を上回る。

ABSTRACT

In many real-world applications such as text mining, it is desirable to select the most relevant features or variables to improve the generalization ability, or to provide a better interpretation of the prediction models. In this paper, a novel adaptive feature scaling (AFS) scheme is proposed by introducing a feature scaling vector d ∈ [0, 1] m to alleviate the bias problem brought by the scaling bias of the diverse features. By reformulating the resultant AFS model to semi-infinite programming problem, a novel feature generating method is presented to identify the most relevant features for classification problems. In contrast to the traditional feature selection methods, the new formulation has the advantage of solving extremely high-dimensional and large-scale problems. With an exact solution to the worst-case analysis in the identification of relevant features, the proposed feature generating scheme converges globally. More importantly, the proposed scheme facilitates the group selection with or without special structures. Comprehensive experiments on a wide range of synthetic and real-world datasets demonstrate that the proposed method achieves better or competitive performance compared with the existing methods on (group) feature selection in terms of generalization performance and training efficiency. The C++ and MATLAB implementations of our algorithm can be available at

研究の動機と目的

• 多様な特徴が不均一なスケールを示す高次元特徴選択において、スケーリングバイアス問題に対処する。
• テキストマイニングなどの応用で一般的な大規模かつ超高次元データセットにおいて、効率的かつ正確な特徴選択を可能にする。
• 個々の特徴および構造的グループ特徴選択を両立できるグローバル収束手法を開発する。
• 既存の特徴選択手法と比較して、一般化性能と学習効率を向上させる。

提案手法

• 異種の特徴間のスケーリングバイアスを軽減するため、d ∈ [0, 1]^m に属する適応的特徴スケーリングベクトルを導入する。
• AFSモデルを半無限計画問題に再定式化することで、無限個の制約に対してロバストな最適化を可能にする。
• 最適化枠組み内での最悪ケース解析を通じて、最も関連性の高い特徴を同定する特徴生成手法を開発する。
• 正確な最悪ケース解析を活用し、特徴選択プロセスのグローバル収束を保証する。
• 事前に定義されたグループ構造の有無に関わらず、非構造的および構造的グループ選択を両立する。
• 実用的導入と評価を目的に、C++およびMATLABによるアルゴリズム実装を実施する。

実験結果

リサーチクエスチョン

• RQ1 高次元特徴空間におけるスケーリングバイアスは、どのようにして効果的に軽減可能か？ これにより特徴選択の正確性が向上するか？
• RQ2 半無限計画法への再定式化は、超高次元環境下でスケーラブルかつグローバルに収束する特徴選択を可能にするか？
• RQ3 提案手法は、一般化性能と学習速度の面で、既存の特徴選択手法をどの程度上回るか？
• RQ4 事前に定義されたグループ構造の有無に関わらず、構造的グループ選択をどの程度効果的に処理できるか？
• RQ5 最悪ケース解析フレームワークは、関連特徴の同定において、ロバスト性と収束性を保証するか？

主な発見

• 提案手法は、合成データおよび実世界のデータセットの両方において、既存の特徴選択手法と比較してより優れた、または同等の一般化性能を達成する。
• アルゴリズムは、特に大規模かつ超高次元の環境下で優れた学習効率を示す。
• 半無限計画法の定式化における正確な最悪ケース解析により、グローバル収束が保証される。
• 事前に定義されたグループ構造の有無に関わらず、柔軟なグループ選択が可能である。
• 多様なデータセットに対する実験結果から、適応的特徴スケーリングと特徴生成フレームワークの有効性が確認される。
• C++およびMATLABによる実装は公開されており、再現性と実用的応用を可能にする。