[論文レビュー] Unsupervised Feature Selection Based on Space Filling Concept

Mohamed Laib, Mikhaïl Kanevski|arXiv (Cornell University)|Jun 27, 2017

Metaheuristic Optimization Algorithms Research参考文献 13被引用数 3

ひとこと要約

本稿では、高次元データにおける冗長性を最小限に抑えるために空間充填被覆測度に基づく、新たな教師なし特徴選択手法UfsCovを提案する。逐次前向き選択法を用いて空間被覆を最大化する特徴を繰り返し選択することで、最小限のパラメータで最適な特徴サブセットを達成し、シミュレートデータおよび環境・ハイパースペクトルデータセットにおいて優れた性能を示す。特に、特徴数を削減した場合の分類精度が向上している。

ABSTRACT

The paper deals with the adaptation of a new measure for the unsupervised feature selection problems. The proposed measure is based on space filling concept and is called the coverage measure. This measure was used for judging the quality of an experimental space filling design. In the present work, the coverage measure is adapted for selecting the smallest informative subset of variables by reducing redundancy in data. This paper proposes a simple analogy to apply this measure. It is implemented in a filter algorithm for unsupervised feature selection problems. The proposed filter algorithm is robust with high dimensional data and can be implemented without extra parameters. Further, it is tested with simulated data and real world case studies including environmental data and hyperspectral image. Finally, the results are evaluated by using random forest algorithm.

研究の動機と目的

• 教師付き出力が不要な状態で、高次元データにおける次元の呪いを軽減し、冗長性を低減すること。
• 元々実験設計で用いられていた空間充填被覆測度を、フィルタベースの教師なし特徴選択フレームワークに適応すること。
• データ空間の被覆を最大化することで、最小で情報量の多い特徴サブセットを特定する、頑健でパラメータフリーなアルゴリズムの開発。
• シミュレートデータ、環境データセット（例：永年 permafrost）およびハイパースペクトル画像（例：Indian Pines）における手法の性能評価。
• 複数のデータセットにわたって一貫したランダムフォレスト評価プロトコルを用いて、選択された特徴の妥当性を検証すること。

提案手法

• 被覆測度は、データポイントが特徴空間をどの程度均等に埋めているかを測定するもので、その分布を規則的なグリッドと比較することで算出される。低い値であるほど、空間被覆が良好であることを示す。
• UfsCovアルゴリズムは、被覆測度を最も向上させる特徴を逐次的に追加する逐次前向き選択（SFS）を用いる。
• 各ステップで、すべての候補となる特徴サブセットの被覆値を計算し、被覆値が最小（＝均一性と情報量が最大）であるものを選択する。
• この手法はフィルタベースのアプローチとして実装されており、任意の学習モデルに依存しないため、計算効率が高く、スケーラビリティに優れる。
• アルゴリズムの頑健性を評価するために、ノイズの注入とデータシャッフルを実施した。
• 結果はランダムフォレスト分類を用いて評価され、複数回の実行で分類精度とカッパ係数が報告された。

実験結果

リサーチクエスチョン

• RQ1 空間充填被覆測度は、高次元データにおける教師なし特徴選択に効果的に適応可能か？
• RQ2 UfsCovアルゴリズムは、情報量を保持しつつ冗長性を低減する点で、ベースライン手法と比較して優れているか？
• RQ3 選択された特徴サブセットは、ハイパースペクトル画像や環境モニタリングデータセットのような複雑な現実世界のデータにおいて、下流の分類性能を向上させるか？
• RQ4 ノイズやシャッフルといったデータの摂動に対して、UfsCovアルゴリズムはどれほど頑健か？
• RQ5 被覆測度は、教師なし設定において最適な特徴サブセットを特定するための信頼性があり、パラメータフリーな基準として機能するか？

主な発見

• Permafrostデータセットでは、26個の特徴のうち17個がUfsCovによって選択され、分類精度が0.9339（カッパ係数0.867）に達した。これは全特徴を使用した場合（精度0.9301、カッパ係数0.848）をわずかに上回った。
• Indian Pinesハイパースペクトル画像では、200バンドのうち69バンドが最適と特定され、次元削減を実現しながらも、高い性能を維持した。
• ランダムフォレスト評価では、UfsCovが選択した特徴を用いた場合、全特徴を使用した場合と比較して、分類精度が一貫して同等またはわずかに向上した。
• Permafrostのケースでは17特徴、Indian Pinesのケースでは69特徴で被覆測度が最小値を示し、これらのサブセットサイズで空間被覆が最適化されていることが示された。
• ノイズとデータシャッフルの条件下でも、アルゴリズムは複数回の実行にわたり一貫した性能を示し、頑健性を確認した。
• UfsCovアルゴリズムは、CRAN上のSFtoolsライブラリを介してR言語で利用可能であり、広範な再現性とデータサイエンスパイプラインへの統合を可能としている。