[論文レビュー] Supervised Infinite Feature Selection

Sadegh Eskandari, Emre Akbaş|arXiv (Cornell University)|Apr 9, 2017

Face and Expression Recognition参考文献 30被引用数 4

ひとこと要約

本稿では、教師あり設定におけるラベル情報を統合し、冗長性モデリングを改善することで、無限特徴選択（IFS）手法を強化したSIFS（Supervised Infinite Feature Selection）およびmIFS（教師なし設定向けに修正されたIFS）を提案する。SIFSでは、相互情報量とスピアマン順位相関（Spearman’s rank correlation）を用いて特徴の隣接行列を再定義し、mIFSでは標準偏差と相互情報量を用いる。この手法により、ベンチマークデータセットで平均分類精度が6%向上し、12個のデータセット平均で1.89%向上する。

ABSTRACT

In this paper, we present a new feature selection method that is suitable for both unsupervised and supervised problems. We build upon the recently proposed Infinite Feature Selection (IFS) method where feature subsets of all sizes (including infinity) are considered. We extend IFS in two ways. First, we propose a supervised version of it. Second, we propose new ways of forming the feature adjacency matrix that perform better for unsupervised problems. We extensively evaluate our methods on many benchmark datasets, including large image-classification datasets (PASCAL VOC), and show that our methods outperform both the IFS and the widely used "minimum-redundancy maximum-relevancy (mRMR)" feature selection algorithm.

研究の動機と目的

• 元のIFS手法は教師なしであり、特徴の冗長性における複雑な非線形依存関係を捉えられていないという限界を解消すること。
• 分類ラベルを活用して特徴の関連性推定を向上させる、IFSの教師ありバージョンの開発。
• 標準偏差と相互情報量を用いて、特徴の関連性および冗長性をよりよく捉える新しい教師なし特徴隣接行列の構築法の提案。
• 特に画像分類タスクにおいて、高次元データセットにおける特徴選択の性能向上。
• 提案手法が、IFSやmRMRといった最先端手法を、多様なベンチマークデータセットで上回ることの実証。

提案手法

• SIFSは、関連性に相互情報量、冗長性にスピアマン順位相関を用いて、教師あり特徴隣接行列を構築し、ラベルに依存する特徴選択を可能にする。
• mIFSは、標準偏差による関連性と相互情報量による冗長性を組み合わせることで、教師なし設定におけるIFSを拡張する。
• 隣接行列の幾何級数を用いて無限パス積分を計算し、特徴の中心性スコアを効率的に算出する。
• 特徴の中心性スコアの無限和から得られるスコアに基づき、特徴を順位付けして選択する。
• 線形SVMおよび深層畳み込みニューラルネットワーク（CNN）特徴に適用し、最適な特徴サブセットサイズを特定するために正規化と交差検証を実施する。
• 再現性およびさらなるベンチマークのため、ソースコードを公開している。

実験結果

リサーチクエスチョン

• RQ1 教師ありバージョンの無限特徴選択は、元の教師なしIFSと比較して分類精度を向上させることができるか？
• RQ2 冗長性モデリングにスピアマン順位相関を組み込むことで、教師あり特徴選択タスクの性能が向上するか？
• RQ3 標準偏差と相互情報量を用いた修正された教師なしIFSバージョンは、元のIFSを教師なしベンチマークで上回るか？
• RQ4 提案手法は、広く使われている情報理論的特徴選択アルゴリズムmRMRと比較して、多様なデータセットで優れた性能を示すか？
• RQ5 提案手法は、PASCAL VOC 2007および2012のような大規模画像分類タスクで、どの程度性能向上を達成するか？

主な発見

• SIFSは12個のベンチマークデータセットで平均して6%分類精度が向上し、特徴選択におけるラベル情報の有効性を示している。
• 12個のデータセット平均で、mRMRと比較して1.89%の分類精度向上を達成し、教師あり設定における優位性を示している。
• mIFSは12個のデータセットのうち9つで元のIFSを上回り、Arceneデータセットでは12%、Prostateデータセットでは7%の向上を達成した。
• PASCAL VOC 2007では、SIFSが85.90%のmAPを達成し、IFS（84.63%）およびmRMR（84.95%）を上回り、ResNetから40%の特徴を保持した。
• PASCAL VOC 2012では、SIFSが86.50%のmAPを達成し、IFS（85.78%）およびmRMR（85.88%）を上回り、ResNetから40%の特徴を保持した。
• SIFSは、画像分類、遺伝子発現、医療データを含むすべてのデータセットで一貫して最高の性能を示し、その頑健性と一般化能力を確認した。