[論文レビュー] MISSION: Ultra Large-Scale Feature Selection using Count-Sketches

Amirali Aghazadeh, Ryan Spring+4 more|arXiv (Cornell University)|Jun 12, 2018

Machine Learning and Data Classification参考文献 12被引用数 13

ひとこと要約

MISSION は、O(log²p) の作業メモリで動作するメモリ効率の良い特徴選択フレームワークであり、Count-Sketch データ構造を用いて、数十億の特徴を有する超大規模データセットにおいても確率的勾配降下を可能にする。特徴の解釈可能性を維持しつつ、特徴の解釈可能性を損なわずに、特徴選択を実現する。DNA メタゲノム解析やクリックスループーリケーションなどの実世界のデータセットにおいて、グリーディなしきい値処理手法を上回り、特徴ハッシュ化の性能を凌駕しながら解釈可能性を損なわない。

ABSTRACT

Feature selection is an important challenge in machine learning. It plays a crucial role in the explainability of machine-driven decisions that are rapidly permeating throughout modern society. Unfortunately, the explosion in the size and dimensionality of real-world datasets poses a severe challenge to standard feature selection algorithms. Today, it is not uncommon for datasets to have billions of dimensions. At such scale, even storing the feature vector is impossible, causing most existing feature selection methods to fail. Workarounds like feature hashing, a standard approach to large-scale machine learning, helps with the computational feasibility, but at the cost of losing the interpretability of features. In this paper, we present MISSION, a novel framework for ultra large-scale feature selection that performs stochastic gradient descent while maintaining an efficient representation of the features in memory using a Count-Sketch data structure. MISSION retains the simplicity of feature hashing without sacrificing the interpretability of the features while using only O(log^2(p)) working memory. We demonstrate that MISSION accurately and efficiently performs feature selection on real-world, large-scale datasets with billions of dimensions.

研究の動機と目的

• 標準的手法がメモリおよび計算制約のため失敗する超高次元データセットにおける特徴選択の課題に対処すること。
• 大規模学習においても特徴の解釈可能性を維持しつつ、明示的な特徴表現に伴うメモリオーバーヘッドを回避すること。
• 反復的最適化をサポートするスパースで近似された表現を用いて、効率的かつスケーラブルな特徴選択を実現すること。
• 実世界の数十億次元のデータセットにおいて、既存のグリーディなしきい値処理手法や特徴ハッシュ化手法を上回る正確性と収束速度を達成すること。
• 相互作用特徴が重要となる科学的応用分野（例：DNA メタゲノム解析）における意味のある特徴の発見を支援すること。

提案手法

• MISSION は、O(log²p) のメモリで動作する Count-Sketch データ構造を用いて、全特徴ベクトルの近似でコンactな表現を維持し、すべての特徴を明示的に格納せずに効率的なアクセスを可能にする。
• ハードしきい値処理を伴う確率的勾配降下（SGD）を実行し、各ステップで上位-k 特徴のみを更新する。同時に、Count-Sketch を用いて特徴重みを近似的に追跡する。
• ヒープデータ構造を用いて上位-k 特徴を維持し、重みの変化が小さい場合には遅延更新をオプションで適用して高コストなヒープ操作を削減する。
• 実世界のデータのスパarsity（特徴ベクトルが極めてスパースである）を活用し、最適化中に密なメモリ表現を避ける。
• 従来のハッシュ化や明示的正則化手法とは異なり、完全な辞書や明示的な特徴インデックスを必要としない。
• 効率的なヒープ更新とランダム化スケッチによる近似特徴追跡を可能にするスケーラブルかつ並列化可能な設計である。

実験結果

リサーチクエスチョン

• RQ1 p > 10^12 個の特徴を有するデータセットにおいて、解釈可能性を維持しながら効率的に動作する特徴選択フレームワークは可能か？
• RQ2 全特徴ベクトルを格納することが不可能な状況で、O(log²p) のメモリで特徴選択を実現する方法は何か？
• RQ3 Count-Sketch データ構造を用いることで、IHT などのグリーディなしきい値処理手法に比べ、超大規模環境下でより良い収束性と正確性を達成できるか？
• RQ4 特徴ハッシュ化を上回る正確性を維持しながら、特徴の識別性と解釈可能性を保つことができるか？
• RQ5 DNA メタゲノム解析やクリックスループーリケーションなどの実世界のデータセットにおいて、メモリ制約下でこの手法はどのようにスケーリングするか？

主な発見

• Criteo データセットにおいて、MISSION はバッチ IHT や SGD IHT よりも平均適合度（AP）で 2.3% 高く、0.510 AP を達成した（対象は 0.498）。
• DNA メタゲノムデータセットでは、MISSION は IHT よりも収束が速く、5 エポック後に完全な特徴ハッシュ化ベースラインと同等の性能を達成した。
• MISSION は収束速度において IHT よりも 1〜4 ラウンドの優位性を示し、上位-k の更新回数が少ないにもかかわらず、効果的な最適化が可能であることを示した。
• MISSION は O(log²p) のメモリしか使用せず、2^48 個の特徴（例：DNA シーケンスにおける 16^12 K-mer）を有するデータセットにもスケーリング可能であり、標準的表現ではペタバイト単位のメモリが必要となる。
• ウォールクロック時間では特徴ハッシュ化より 15% 遅い（17.5h 対 15h）が、収束が速く正確性が高いため、全体的な効果は優れている。
• 786,432 個の追加要素しか割り当てられていない限られたメモリ環境でも、高い正確性を維持しており、超大規模環境下での耐障害性と効率性を示した。