[論文レビュー] WHInter: A Working set algorithm for High-dimensional sparse second order Interaction models

Marine Le Morvan, Jean‐Philippe Vert|arXiv (Cornell University)|Feb 16, 2018

Gene expression and cancer classification参考文献 32被引用数 9

ひとこと要約

WHInter は、効率的な最大内積検索（MIPS）と新たな境界を活用して、すべての相互作用をスキャンせずにアクティブな特徴集合を特定する、高次元スパース線形モデルに二階相互作用を適合させるための新規なワーキングセットアルゴリズムである。遺伝的データおよびシミュレートされたデータにおいて、最先端の手法と比較して最大2桁の速さを達成し、数10万個の特徴を有するデータセットのスケーラブルな解析を可能にする。

ABSTRACT

Learning sparse linear models with two-way interactions is desirable in many application domains such as genomics. l1-regularised linear models are popular to estimate sparse models, yet standard implementations fail to address specifically the quadratic explosion of candidate two-way interactions in high dimensions, and typically do not scale to genetic data with hundreds of thousands of features. Here we present WHInter, a working set algorithm to solve large l1-regularised problems with two-way interactions for binary design matrices. The novelty of WHInter stems from a new bound to efficiently identify working sets while avoiding to scan all features, and on fast computations inspired from solutions to the maximum inner product search problem. We apply WHInter to simulated and real genetic data and show that it is more scalable and two orders of magnitude faster than the state of the art.

研究の動機と目的

• 2次相互作用項の数が二乗的に増加する高次元設定において、標準的な LASSO ソルバーの計算不能性に対処する。
• 特に特徴数 p > 100,000 の遺伝的データを想定し、バイナリ設計行列におけるペairワイズ相互作用を含む ℓ1-正則化モデルのスケーラブルなアルゴリズムを開発する。
• 既存のヒューリスティクスおよびセーフスクリーニングルールの限界を克服し、効率的な特徴選択を組み込んだより能動的なワーキングセット戦略を導入する。
• 大規模データセットにおいて計算可能性を保ちながら、強い統計的保証のもとで正確なスパースモデル推定を可能にする。

提案手法

• すべての候補相互作用を全検索せずに、ワーキングセットの特徴および相互作用を効率的に特定するための新たな境界を提案する。
• スパースベクトル演算を用いて、MIPS（最大内積検索）の定式化により、有望な相互作用項の特定を高速化する。
• 高次元空間における内積計算コストを低減するため、スパarsityとプリーニングヒューリスティクスを活用する新規なアルゴリズム的要素 MIPS1 を導入する。
• 元の深さ優先探索バージョンと比較して、ペアワイズ相互作用のプリーニング効率を向上させるために、SPP（セーフパターンプリーニング）部で幅優先探索戦略を採用する。
• ワーキングセットアプローチと動的スクリーニングルールを組み合わせ、最適化の過程で非アクティブな特徴および相互作用を段階的に除外する。
• 双対変数およびベクトルノルムの絶対値の降順に基づいて、特徴およびクエリの再順序付けを最適化することで、計算パフォーマンスを向上させる。

実験結果

リサーチクエスチョン

• RQ1 効率的な特徴選択を備えたワーキングセットアルゴリズムは、高次元相互作用モデルにおいて、標準的な LASSO ソルバーと比較して速度およびスケーラビリティの面で優れているか？
• RQ2 提案された MIPSに基づくワーキングセット選択は、モデルの正確性を損なわずに評価する相互作用数をどれほど削減できるか？
• RQ3 新規な境界およびプリーニング戦略は、既存のセーフスクリーニングおよびアクティブセット手法と比較して、計算効率をどの程度向上させるか？
• RQ4 本アルゴリズムは、数10万個の特徴および数万件のサンプルを有する実世界の遺伝的データセットに対しても、スパarsityおよび統計的一致性を維持しながらスケーラブルか？

主な発見

• WHInter は、シミュレート済みおよび実際の遺伝的データセットにおいて、最先端手法と比較して最大2桁の高速化を達成し、一部の設定では100倍以上のスピードアップを示した。
• MIPS1 要素は、単純な内積計算と比較して計算時間を1.6倍速くし、理想化されたインバーテッドリスト（IL）手法と比較して最大11倍遅いが、実用上は非常に効率的である。
• 幅優先探索バージョンの SPP は、元の深さ優先探索 SPP と比較して、プリーニング効率を20–60％向上させ、データセットサイズに応じて1.2倍から1.6倍のスピードアップを達成した。
• n = 1000 および p = 10,000 のデータセットにおいて、WHInter は正則化パス全体を10秒未満で完了した。これは、強力なスケーラビリティを示している。
• 本アルゴリズムは高いモデル正確性とスパarsityを維持しており、サポート回復性能は正確な LASSO ソルバーと同等であるが、実行時間は著しく短縮された。
• ワーキングセット選択と動的スクリーニングルールの統合により、最適化の過程で非アクティブな特徴の段階的除外が可能となり、アクティブ変数の数を顕著に削減した。