[論文レビュー] Feature Selection with Annealing for Big Data Learning

Adrian Barbu, Yiyuan She+2 more|arXiv (Cornell University)|Oct 10, 2013

Face and Expression Recognition被引用数 5

ひとこと要約

本稿では、基準とスケジュールに基づいて反復的に変数を削除する、アニーリングに基づく特徴選択手法を提案する。この手法により、大規模データにおける効率的でスケーラブルな学習が可能になる。スパarsity制約を段階的に厳しくし、変数スクリーニングを推定に統合することで、収束性、選択の一貫性、最小限の計算オーバーヘッドで高い性能を発揮する。回帰、分類、ランク付けのタスクにおいて、強い性能を示す。

ABSTRACT

Abstract—Many computer vision and medical imaging problems are faced with learning from large-scale datasets, with millions of observa-tions and features. In this paper we propose a novel efficient learning scheme which tightens a sparsity constraint by gradually removing variables based on a criterion and a schedule. The attractive fact that the problem size keeps dropping throughout the iterations makes it particu-larly suitable for big data learning. Our approach applies generically to the optimization of any differentiable loss function, and finds applications in regression, classification and ranking. The resultant algorithms build variable screening into estimation and are extremely simple to imple-ment. We provide theoretical guarantees of convergence and selection consistency. In addition, one dimensional piecewise linear response functions are used to account for nonlinearity and a second order prior is imposed on these functions to avoid overfitting. Experiments on real and synthetic data show that the proposed method compares very well with other state of the art methods in regression, classification and ranking while being computationally very efficient and scalable. Index Terms—feature selection, supervised learning, regression, clas-sification, ranking. 1

研究の動機と目的

• 数百万の特徴と観測値を有する大規模データセットからの学習の課題に対処すること。
• コンピュータビジョンおよび医療画像処理におけるビッグデータ応用に適した、スケーラブルで効率的な特徴選択手法を開発すること。
• 高次元学習における収束性および選択の一貫性に関する理論的保証を確保すること。
• 推定プロセスに直接的に変数スクリーニングを統合することで、モデルの効率性を向上させること。
• 区分線形応答関数を用いて非線形性を扱い、2次元の事前分布を導入して過学習を防止すること。

提案手法

• 本手法は、選択基準に基づいて変数を削除することで、段階的にスパarsity制約を厳しくするアニーリングスケジュールを採用する。
• 任意の微分可能な損失関数に一般化して適用可能であり、回帰、分類、ランク付けタスクをサポートする。
• 変数スクリーニングが最適化プロセスに組み込まれており、別個の選択ステップが不要である。
• 区分線形応答関数を用いることで、データ内の非線形性を柔軟にモデル化する。
• 区分線形関数に2次元の事前分布を適用することで、正則化を行い、過学習を防止する。
• 反復的プロセスにより、各ステップで問題のサイズが減少し、計算効率とスケーラビリティが向上する。

実験結果

リサーチクエスチョン

• RQ1 数百万の特徴と観測値を有するビッグデータ向けに、特徴選択をどのようにスケーラブルかつ効率的に行えるか？
• RQ2 スパarsity制約付き最適化手法は、高次元設定において収束性と選択の一貫性を両立できるか？
• RQ3 推定に変数スクリーニングを統合することで、逐次的手法と比較して性能と効率がどのように向上するか？
• RQ4 2次元事前分布を備えた区分線形関数を用いることで、非線形性をどの程度効果的にモデル化でき、過学習を防止できるか？
• RQ5 提案手法のアニーリングベースのアプローチは、回帰、分類、ランク付けタスクにおいて、最先端手法と比較してどのように差をつけるか？

主な発見

• 提案手法は、回帰、分類、ランク付けタスクにおいて、最先端の手法と同等の高い性能を達成する。
• 反復処理による問題サイズの段階的縮小のおかげで、高い計算効率とスケーラビリティを示す。
• 提案フレームワークの下で、収束性および選択の一貫性に関する理論的保証が確立された。
• 2次元事前分布を備えた区分線形応答関数の使用により、非線形性を効果的にモデル化するとともに、過学習を制御できる。
• 実データおよび合成データを用いた実験により、多様な学習タスクにおいて本手法のロバスト性と効率性が確認された。
• 特徴選択を推定プロセスに統合することで、実装が簡素化され、計算パフォーマンスが向上した。