[論文レビュー] 10,000+ Times Accelerated Robust Subset Selection (ARSS)

Feiyun Zhu, Bin Fan+4 more|arXiv (Cornell University)|Sep 12, 2014

Sparse and Compressive Sensing Techniques参考文献 23被引用数 25

ひとこと要約

本稿では、$ε_p$-ノルム（$0 < p \leq 1$）を用いて外れ値の影響を軽減することで、外れ値の多いサンプルや特徴に対しても耐性を持つ新たな高速化されたロバスト部分集合選択手法ARSSを提案する。ALMと同等の導出を用いることで、計算量を$O(N^4)$から$O(N^2L)$に理論的に高速化した。実験では、類縁の最先端手法と比較して平均で10,000倍以上高速であり、10のベンチマークデータセットにおいて優れたもしくは競争力のある精度を達成した。

ABSTRACT

Subset selection from massive data with noised information is increasingly popular for various applications. This problem is still highly challenging as current methods are generally slow in speed and sensitive to outliers. To address the above two issues, we propose an accelerated robust subset selection (ARSS) method. Specifically in the subset selection area, this is the first attempt to employ the $\ell_{p}(0

研究の動機と目的

• 大規模データセットからのロバスト部分集合選択における高い計算コストと外れ値への感受性という二重の課題に対処すること。
• 標準的な最小二乗法や$ε_{2,1}$-ノルム損失の代わりに、より耐性のある$ε_p$-ノルム（$0 < p \leq 1$）を用いることで、表現損失のロバスト性を向上させること。
• データ構造$N \gg L$を活用し、ALMと同等の導出を用いることで、元の最適化問題の計算複雑度を$O(N^4)$から$O(N^2L)$に大幅に低減すること。
• 従来の手法が非現実的だった大規模データセット、特に全データセット処理を含むスケーラブルな部分集合選択を可能にすること。
• 実世界のノイズの多いサンプルや特徴を伴うデータに特に適した、高速で正確かつロバストな代替手法を提供すること。

提案手法

• 本手法は、外れ値による大きな誤差の影響を抑えるために、極端な値に対して感度が低いように目的関数を設計するため、$ε_p$-ノルム（$0 < p \leq 1$）を表現損失として採用する。
• 各データポイントを選択された代表例の線形結合として表現する自己表現問題として部分集合選択を定式化する。
• 非凸かつ非滑らかな最適化問題を効率的に解くために、拡張ラグランジュ乗数（ALM）フレームワークを適用する。
• 同等の導出を用いることで、元の高コストな部分問題をより取り扱いやすい形に変換し、計算コストを$O(N^4)$から$O(N^2L)$に削減する。
• アルゴリズムは$N \gg L$という仮定の下で設計されており、サンプル数が特徴次元数に比べて著しく多い場合に顕著な高速化が得られる。
• また、ネイの元の手法に対しても加速ソルバを導出しており、計算複雑度を$O(N^4)$から$O(N^2L + NL^3)$に低減し、実験的に500倍以上の高速化を達成した。

実験結果

リサーチクエスチョン

• RQ1 外れ値の多いサンプルや特徴の影響を軽減するために、$ε_p$-ノルム（$0 < p \leq 1$）を部分集合選択に効果的に適用できるか？
• RQ2 特に大規模データセットにおいて、選択品質を損なわずにロバスト部分集合選択の計算速度を顕著に向上させることは可能か？
• RQ3 データサイズ$N \gg L$の条件下で、ALMと同等の導出を用いることで、既存のロバスト部分集合選択手法の計算複雑度を$O(N^4)$から$O(N^2L)$に低減できるか？
• RQ4 実世界のベンチマークデータセットにおいて、RRSS や TED といった最先端手法と比較して、提案手法ARSSの精度と速度はどのように異なるか？
• RQ5 ネイの手法に対する加速ソルバは、理論的複雑度の低減と実用的高速化を両立させつつ、解の品質を保持できるか？

主な発見

• ARSSはベンチマークデータセット上でRRSS$_{\text{Nie}}$と比較して平均で23,275倍高速であり、1つのケースでは100年かかるタスクをわずか1.6日で完了した。
• ARSSは平均で10,000倍以上もRRSS$_{\text{Nie}}$（最も類縁の手法）より高速であり、最速のケースでは23,000倍以上の高速化が達成された。
• KNNおよび線形SVM分類器を用いた実験で、10のベンチマークデータセットにおいてSOTAまたは非常に競争力のある予測精度を達成した。
• $ε_p$-ノルム損失の使用により、データ品質が異なる複数のデータセットでも一貫して高い性能を示し、ロバスト性の向上が明確に裏付けられた。
• ネイの手法に対する加速ソルバは、理論的複雑度を$O(N^4)$から$O(N^2L + NL^3)$に低減し、実験的に500倍以上の高速化を達成した。
• ARSSは全データセット（最大$N^*=13,000$）を現実的な時間で処理でき、候補集合の制限を超えたスケーラビリティを実証した。