[論文レビュー] Active Sample Learning and Feature Selection: A Unified Approach.

Changsheng Li, Xiangfeng Wang+4 more|arXiv (Cornell University)|Mar 4, 2015

Machine Learning and Algorithms参考文献 47被引用数 7

ひとこと要約

本稿では、データ再構成を活用して代表的なサンプルと情報量の多い特徴量を同時に最適化する、完全に教師なし設定における統合的でワンショットのフレームワークを提案する。凸で滑らかでない最適化により、代表的なサンプルと情報量の多い特徴量を同時に最適化する。この手法は、グローバル収束を達成し、初期ラベル付きデータが乏しいまたは存在しない場合に特に効果的で、最先端の性能を達成する。

ABSTRACT

This paper focuses on the problem of simultaneous sample and feature selection for machine learning in a fully unsupervised setting. Though most existing works tackle these two problems separately that derives two well-studied sub-areas namely active learning and feature selection, a unified approach is inspirational since they are often interleaved with each other. Noisy and high-dimensional features will bring adverse effect on sample selection, while `good' samples will be beneficial to feature selection. We present a unified framework to conduct active learning and feature selection simultaneously. From the data reconstruction perspective, both the selected samples and features can best approximate the original dataset respectively, such that the selected samples characterized by the selected features are very representative. Additionally our method is one-shot without iteratively selecting samples for progressive labeling. Thus our model is especially suitable when the initial labeled samples are scarce or totally absent, which existing works hardly address particularly for simultaneous feature selection. To alleviate the NP-hardness of the raw problem, the proposed formulation involves a convex but non-smooth optimization problem. We solve it efficiently by an iterative algorithm, and prove its global convergence. Experiments on publicly available datasets validate that our method is promising compared with the state-of-the-arts.

研究の動機と目的

• アクティブラーニングと特徴量選択を別々の問題として扱う既存手法の制限を解決するが、それらは相乗的である。
• 反復的なラベル付けや初期ラベル付きデータを必要とせず、代表的なサンプルと情報量の多い特徴量を同時に選択する統合的フレームワークを開発する。
• 選択されたサンプルと特徴量が元のデータセットを最もよく再構成できるようにし、データ構造と代表性を保持する。
• 元の問題がNP困難であるにもかかわらず、凸だが滑らかでない最適化定式化により、連合的選択問題の計算複雑性を克服する。
• 初期ラベルが乏しいまたは存在しない現実世界の応用に適した反復的アルゴリズムを用いて、グローバル収束と計算効率を達成する。

提案手法

• 選択されたサンプルと特徴量が元のデータ構造をできるだけ保つように、データ再構成の観点から連合的サンプルおよび特徴量選択問題を定式化する。
• 元の問題がNP困難であるにもかかわらず、計算の実行可能性を保証するため、凸で滑らかでない最適化問題を提案する。
• 滑らかでない最適化問題を解く反復的アルゴリズムを設計し、グローバル収束の理論的証明を提供する。
• ラベル付けの反復的ラウンドを回避し、ワンショット選択を可能にするために、サンプルと特徴量選択を一度の最適化ステップで統合する。
• 再構成誤差を目的関数として使用し、元のデータと選択されたサンプルおよび特徴量から再構成されたデータとの乖離を最小化する。
• 優れたサンプルと優れた特徴量の相互利益を活用する：代表的なサンプルは特徴量選択を改善し、情報量の多い特徴量はサンプル選択を強化する。

実験結果

リサーチクエスチョン

• RQ1 完全に教師なし設定において、統合的フレームワークが同時にサンプルおよび特徴量選択を最適化できるか？
• RQ2 連合的選択が順次的または独立的な手法と比較して、データ再構成の質をどのように向上させるか？
• RQ3 初期ラベル付きデータが乏しいまたは存在しない状況でも、ワンショット選択戦略が競争力のある性能を達成できるか？
• RQ4 提案された凸で滑らかでない最適化定式化は、グローバル収束と計算効率を保証するか？
• RQ5 サンプル選択と特徴量選択の相互作用は、選択されたサブセットの代表性をどのように向上させるか？

主な発見

• 提案された統合的フレームワークは、公開済みのデータセットにおいて、教師なし設定で最先端の手法と比較して優れた性能を達成する。
• ワンショット選択戦略は、反復的なラベル付けや初期ラベル付きデータを必要とせず、代表的なサンプルと情報量の多い特徴量を効果的に特定する。
• 凸で滑らかでない最適化定式化により、グローバル収束が保証され、信頼性の高い安定した最適化結果が得られる。
• 連合的選択プロセスはデータ再構成を向上させ、代表的なサンプルと情報量の多い特徴量が互いに補い合うことを示している。
• 既存の手法が初期教師信号の欠如により苦戦する低ラベルまたはゼロラベルの状況において、本手法は特に効果的である。
• 実験的検証により、特徴量とサンプルの質が重要な高次元でノイズの多いデータ環境において、本手法の有効性が確認された。