[論文レビュー] Discovering Support and Affiliated Features from Very High Dimensions

Yiteng Zhai, Mingkui Tan+2 more|arXiv (Cornell University)|Jun 27, 2012

Image Retrieval and Classification Techniques参考文献 19被引用数 27

ひとこと要約

本稿では、相関制約を伴うカットプレーン最適化戦略を用いて、非常に高次元のデータにおいて最適で相関のないサポート特徴量とその関連する相関特徴量を同定する、新しい埋め込み特徴選択手法を提案する。この手法は、追加の計算コストを要せず、識別的な特徴量とその相関グループを同時に発見することで、予測性能と解釈可能性を向上させる。

ABSTRACT

In this paper, a novel learning paradigm is presented to automatically identify groups of informative and correlated features from very high dimensions. Specifically, we explicitly incorporate correlation measures as constraints and then propose an efficient embedded feature selection method using recently developed cutting plane strategy. The benefits of the proposed algorithm are two-folds. First, it can identify the optimal discriminative and uncorrelated feature subset to the output labels, denoted here as Support Features, which brings about significant improvements in prediction performance over other state of the art feature selection methods considered in the paper. Second, during the learning process, the underlying group structures of correlated features associated with each support feature, denoted as Affiliated Features, can also be discovered without any additional cost. These affiliated features serve to improve the interpretations on the learning tasks. Extensive empirical studies on both synthetic and very high dimensional real-world datasets verify the validity and efficiency of the proposed method.

研究の動機と目的

• 非常に高次元のデータセットにおける情報的で相関のない特徴量を同定する課題に対処すること。
• 各サポート特徴量に関連する相関特徴量の潜在的なグループ構造を自動的に同定すること。
• 最適な識別的特徴量サブセットの選択により、予測性能を向上させること。
• 各サポート特徴量に関連する特徴量を特定することで、モデルの解釈可能性を向上させること。
• 相関特徴量グループの同定に追加コストを要しない、効率的な埋め込み特徴選択手法の開発

提案手法

• 特徴選択を明示的な相関制約を含む混合整数最適化問題として定式化する。
• 最近開発されたカットプレーン戦略を用いて、非凸的かつ組み合わせ最適化問題を効率的に解く。
• 特徴量間の相関尺度を制約として組み込み、相関のないサポート特徴量の選択をガイドする。
• 最適化プロセス中に、同時にサポート特徴量とその関連する相関特徴量を同定する。
• 手法の埋め込み的性質により、特徴選択とグループ発見が1つの学習プロセス内で行われる。
• 最適化フレームワークにより、非常に高次元のデータセットにおけるスケーラブルな計算が可能になる。

実験結果

リサーチクエスチョン

• RQ1 高次元設定において、予測性能を最大化する最小の相関のない特徴量サブセットを同定できるか？
• RQ2 追加の計算オーバーヘッドなしに、各サポート特徴量に関連する相関特徴量グループを同定できるか？
• RQ3 相関制約の組み込みが、特徴選択の安定性と性能にどのように影響するか？
• RQ4 特徴量グループ構造を明らかにすることで、提案手法が解釈可能性をどの程度向上させるか？
• RQ5 最先端の手法と比較して、実世界の高次元データセットにおいて、本手法のスケーラビリティと性能はいかがなものか？

主な発見

• 提案手法は、合成データおよび実世界のデータセットにおいて、最先端の特徴選択手法よりも顕著な予測性能の向上を達成した。
• アルゴリズムは、相関がなく、顕著に識別的なサポート特徴量を効果的に同定し、より良い一般化性能を実現した。
• 関連特徴量（各サポート特徴量に関連する相関特徴量）は自動的に同定され、モデルの解釈可能性が向上した。
• 広範な実験的検証を通じて、非常に高次元のデータにおいて本手法が高い効率性とスケーラビリティを示した。
• 実世界のデータセットにおける実験結果は、実用的な機械学習応用における本手法の有効性と頑健性を確認した。
• 相関制約の統合により、特徴量同士の相関を無視する手法と比較して、より安定的で意味のある特徴量サブセットが得られた。