[論文レビュー] Simultaneous Safe Screening of Features and Samples in Doubly Sparse Modeling

Atsushi Shibagaki, Masayuki Karasuyama+2 more|arXiv (Cornell University)|Feb 8, 2016

Probabilistic and Robust Engineering Design参考文献 23被引用数 16

ひとこと要約

本稿では、双方向スパースモデルにおける非活性特徴量および非活性サンプルを同時に安全に特定する、新しい同時安全スクリーニング手法を提案する。この手法は、プライマル空間とデュアル空間の両方で反復的duality gapに基づく境界を用いる。特徴量とサンプルのスクリーニングの相乗効果を活用することで、最適性を損なわずに大規模スパース学習の速度を顕著に向上させる。高次元データセットを用いた広範な実験により、その有効性が検証された。

ABSTRACT

The problem of learning a sparse model is conceptually interpreted as the process of identifying active features/samples and then optimizing the model over them. Recently introduced safe screening allows us to identify a part of non-active features/samples. So far, safe screening has been individually studied either for feature screening or for sample screening. In this paper, we introduce a new approach for safely screening features and samples simultaneously by alternatively iterating feature and sample screening steps. A significant advantage of considering them simultaneously rather than individually is that they have a synergy effect in the sense that the results of the previous safe feature screening can be exploited for improving the next safe sample screening performances, and vice-versa. We first theoretically investigate the synergy effect, and then illustrate the practical advantage through intensive numerical experiments for problems with large numbers of features and samples.

研究の動機と目的

• 特徴量とサンプルの両方が多数存在する大規模スパース学習における計算ボトルネックを解消すること。
• 安全スクリーニングを用いて非活性特徴量と非活性サンプルを同時に同定する統一フレームワークを構築し、誤検出（偽陰性）を一切発生させないこと。
• 特徴量スクリーニングとサンプルスクリーニングの相乗効果を活用し、個別のアプローチを上回るスクリーニング性能を向上させること。
• 効率的な二重スパースモデリングにおける最適化のための理論的保証と実用的アルゴリズムを提供すること。

提案手法

• duality gapに基づく境界を用いて、デュアル空間における安全な特徴量スクリーニングとプライマル空間における安全なサンプルスクリーニングを交互に実行する。
• プライマル・デュアルの両方の実行可能解のペアを用いて、双対変数およびプライマル変数の下限・上限を構築し、最適解領域を推定する。
• KKT最適性条件を用いて、特徴量またはサンプルが保証的に非活性である条件を導出する。
• 特徴量スクリーニングでは、双対解の境界が $ w_j^* = 0 $ を示すかを確認する。サンプルスクリーニングでは、$ \alpha_i^* \notin \{0, \pm1\} $ であるかを確認する。
• プライマルとデュアルのスクリーニングステップを交互に繰り返し、安全な削除領域を段階的に改善することで、スクリーニングの範囲を拡大する。
• 滑らかなヘッジ損失を用いたSVMおよび $ \varepsilon $-インシレント損失を用いた回帰モデルに適用可能であり、強い凸性仮定のもとで有効である。

実験結果

リサーチクエスチョン

• RQ1 特徴量とサンプルの安全スクリーニングを効果的に統合することで、二重スパースモデルにおけるスクリーニング性能を向上させることができるか？
• RQ2 特徴量スクリーニングとサンプルスクリーニングの相互作用が、より多くの特徴量とサンプルを安全に削除できる相乗効果を生み出すか？
• RQ3 duality gapに基づく境界を用いて、プライマル空間とデュアル空間の両方で同時に安全なスクリーニング領域を構築できるか？
• RQ4 スパース学習の文脈において、特徴量スクリーニングとサンプルスクリーニングの相乗効果の理論的根拠は何か？
• RQ5 実際の応用において、個別の特徴量スクリーニングやサンプルスクリーニングと比較して、本手法はスクリーニング速度とモデル精度の面で優れているか？

主な発見

• 本手法は、最適化の前段階で多数の特徴量とサンプルを安全に削除することで、大規模スパースモデルの学習を顕著に高速化する。
• 特徴量スクリーニングとサンプルスクリーニングの相乗効果により、累積的な改善が得られる。各スクリーニングステップが次のステップの精度を向上させ、無関係な成分のより積極的な削除が可能になる。
• 理論的分析により、デュアル空間におけるスクリーニング（特徴量用）とプライマル空間におけるスクリーニング（サンプル用）を繰り返し組み合わせても、最適性が損なわれないことが確認された。
• 数値実験では、高次元データセットにおいて、個別のスクリーニング手法と比較して、本手法がスクリーニング比と実行時間の削減の両面で優れていることが示された。
• 本手法は偽陰性を一切発生させない。非活性特徴量や非活性サンプルは、誤って削除されないため、解の最適性が保たれる。
• 滑らかなヘッジ損失や $ \varepsilon $-インシレント損失を用いたさまざまな損失関数に対しても、適切な強い凸性条件下で有効である。