[論文レビュー] Joint Active Learning with Feature Selection via CUR Matrix Decomposition

Changsheng Li, Xiangfeng Wang+4 more|arXiv (Cornell University)|Mar 4, 2015

Machine Learning and Algorithms被引用数 5

ひとこと要約

本稿では、CUR行列分解を用いた統合的でワンショットのフレームワークを提案し、反復的なラベル付けを伴わずに、同時に代表的なサンプルと情報量の多い特徴量を選択できる。構造的スパarsityを組み込んだ凸で滑らかでない最適化問題として定式化することで、グローバル収束を達成し、ベンチマークデータセットにおいて最先端の手法を上回る性能を発揮する。特にラベルが少ない状況下で顕著な優位性を示す。

ABSTRACT

This paper presents an unsupervised learning approach for simultaneous sample and feature selection, which is in contrast to existing works which mainly tackle these two problems separately. In fact the two tasks are often interleaved with each other: noisy and high-dimensional features will bring adverse effect on sample selection, while informative or representative samples will be beneficial to feature selection. Specifically, we propose a framework to jointly conduct active learning and feature selection based on the CUR matrix decomposition. From the data reconstruction perspective, both the selected samples and features can best approximate the original dataset respectively, such that the selected samples characterized by the features are highly representative. In particular, our method runs in one-shot without the procedure of iterative sample selection for progressive labeling. Thus, our model is especially suitable when there are few labeled samples or even in the absence of supervision, which is a particular challenge for existing methods. As the joint learning problem is NP-hard, the proposed formulation involves a convex but non-smooth optimization problem. We solve it efficiently by an iterative algorithm, and prove its global convergence. Experimental results on publicly available datasets corroborate the efficacy of our method compared with the state-of-the-art.

研究の動機と目的

• 既存のアクティブラーニングと特徴量選択手法が2つのタスクを別々に扱うため、最適でない結果に終わるという限界を是正すること。
• 代表的なサンプルと情報量の多い特徴量を、教師なしでワンショットの方法で同時に選択できる統合的フレームワークを開発すること。
• 現実の機械学習応用において一般的な高次元でノイズの多い特徴量と限られたラベル付きデータの課題を克服すること。
• NP困難な同時選択問題に対してグローバル収束を保証する効率的な最適化アルゴリズムを設計すること。
• 多様なベンチマークデータセットを用いて、本手法の頑健性と最先端の手法に対する優位性を検証すること。

提案手法

• 本手法は、選択された行・列および低ランクコアを用いて元のデータ行列を近似するCUR行列分解に基づき、サンプルと特徴量の同時選択を正則化された最適化問題として定式化する。
• 代表的なサンプルと特徴量の選択を促進するため、構造的スパarsity誘導ノルム（l1,2およびl2,1）を導入し、解釈可能性と頑健性を向上させる。
• NP困難な非凸問題を凸で滑らかでない最適化問題に緩和し、交替方向乗数法（ADMM）アルゴリズムを用いて効率的に解く。
• ADMMに基づく反復的アルゴリズムにより、グローバル収束を保証し、反復的なラベル付けサイクルを回避しながら、ワンパスで同時選択問題を効率的に解く。
• 行列分解における安定性の向上と過小決定の低減を図るため、サンプル間および特徴量間の正則化項を統合する。
• 最小限またはラベルなしのデータで動作するように設計されており、低教師信号のシナリオに適している。

実験結果

リサーチクエスチョン

• RQ1 CUR分解を用いた同時サンプル・特徴量選択は、分離的または逐次的アプローチを上回る性能を発揮できるか？
• RQ2 ラベル付きデータが限られる状況下で、ワンショットで教師なしにサンプルと特徴量を同時に選択する戦略はどの程度有効か？
• RQ3 構造的スパarsityとクロス正則化を組み込むことで、選択された特徴量・サンプルサブセットの頑健性と精度が向上するか？
• RQ4 ハイパーパrameter α, β, λ に対する本手法の感度はどの程度で、それぞれの最適な範囲は何か？
• RQ5 提案された凸緩和とADMMに基づく最適化は、実用的にグローバル収束と効率的な計算を達成できるか？

主な発見

• 提案手法ALFSは、8つのベンチマークデータセットにおいて、最先端の手法を大きく上回る分類精度を達成した。特にラベル付きサンプル数が少ない場合に顕著な優位性を示した。
• MadelonおよびFG-NETデータセットでは、代表的なサンプルを少数（例：10–20％）選択するだけで、全サンプルを問い合わせる場合よりも優れた性能を達成した。これは、サンプルの代表性の重要性を示している。
• パラメータの変動に対して頑健であり、α, β, λ の広い範囲で安定した性能を発揮した。ただし、非常に小さい値ではスパarsityの強制が不十分となり、性能が劣化した。
• CPU時間は収束許容誤差εに比例して線形に増加し、標準的なハードウェア上での実行時間の予測可能性とスケーラビリティを示している。
• ラベルが極めて限られた状況下では、ワンショット選択戦略が反復的アプローチを上回った。これは、ラベル付きデータが極めて少ない状況での利点を裏付けている。
• サンプル間および特徴量間の正則化項の導入により、安定性が向上し、特に高次元設定下での過学習が低減した。