[論文レビュー] Submodular meets Spectral: Greedy Algorithms for Subset Selection, Sparse Approximation and Dictionary Selection

Abhimanyu Das, David Kempe|arXiv (Cornell University)|Feb 19, 2011

Sparse and Compressive Sensing Techniques参考文献 15被引用数 270

ひとこと要約

本稿では、相関が強くまたは特異に近いデータですら、部分集合選択やスパース近似、辞書選択において勾配法が良好に機能する理由を説明する新たな指標として『部分モジュラリティ比』を導入する。部分モジュラ関数解析とスペクトル技法を組み合わせることで、従来のコherenCe や固有値といったスペクトルパラメータよりも優れた予測性能を示す、これまでで最も強い近似保証を提供する。

ABSTRACT

We study the problem of selecting a subset of k random variables from a large set, in order to obtain the best linear prediction of another variable of interest. This problem can be viewed in the context of both feature selection and sparse approximation. We analyze the performance of widely used greedy heuristics, using insights from the maximization of submodular functions and spectral analysis. We introduce the submodularity ratio as a key quantity to help understand why greedy algorithms perform well even when the variables are highly correlated. Using our techniques, we obtain the strongest known approximation guarantees for this problem, both in terms of the submodularity ratio and the smallest k-sparse eigenvalue of the covariance matrix. We further demonstrate the wide applicability of our techniques by analyzing greedy algorithms for the dictionary selection problem, and significantly improve the previously known guarantees. Our theoretical analysis is complemented by experiments on real-world and synthetic data sets; the experiments show that the submodularity ratio is a stronger predictor of the performance of greedy algorithms than other spectral parameters.

研究の動機と目的

• 相関が強くまたは特異に近いデータにおいても、部分集合選択およびスパース近似において勾配法が優れた実験的性能を示す理由を説明すること。
• 理論的限界近似境界と勾配法の実際の性能の間のギャップを埋める理論的枠組みを構築すること。
• 近似部分モジュラリティの新たな測度を用いて、部分集合選択および辞書選択における勾配法の近似保証を向上させること。
• 部分モジュラリティ比が、コherenCe や条件数、または制限等長性性質（RIP）といった従来のスペクトルパラメータよりも、勾配法の性能をより優れた指標で予測できることを示すこと。
• 勾配反復中に寄与度が低い（≤ ε）集合を除外する分析を精緻化することで、実際の性能に近い理論的境界を著しく改善すること。

提案手法

• R² 目的関数がどの程度部分モジュラに近いかを測る指標として『部分モジュラリティ比』を導入し、入力データ上での部分モジュラリティからの逸脱を定量化する。
• 部分モジュラ関数解析とスペクトル技法を統合し、特に共分散行列の最小 k スパース固有値を活用して近似保証を導出する。
• Forward Regression および Orthogonal Matching Pursuit (OMP) の性能を部分モジュラリティ比を用いて形式化し、勾配法が (1 - e^(-γ)) の近似比を達成することを証明する。ここで γ は部分モジュラリティ比である。
• 低寄与度集合（≤ ε）を部分モジュラリティ比の計算中に除外する精緻化された分析を導入し、実験的境界を著しく改善する。
• 実世界および合成データセットを用いて、部分モジュラリティ比が勾長法の性能と強く相関することを実証的に検証し、従来のスペクトル指標を上回ることを示す。
• この枠組みを辞書選択問題に応用し、この分野における勾長法の既存理論的保証を著しく改善する。

実験結果

リサーチクエスチョン

• RQ1 NP困難な問題であり、最悪ケースの近似境界が弱いにもかかわらず、Forward Regression や OMP といった勾長法が実際にはなぜ良好に機能するのか。
• RQ2 勾長法の性能が、コherenCe や条件数といった共分散行列のスペクトル的性質にどの程度依存するのか。
• RQ3 高相関性や特異に近いデータの下で、勾長法のロバスト性を説明できる、近似部分モジュラリティの新たな測度は存在するか。
• RQ4 部分モジュラリティ比は、他のスペクトルパラメータ（例：コherenCe、条件数、RIP）に比べて、勾長法の性能予測において優れているか。
• RQ5 高寄与度集合のみに注目する精緻化された分析により、理論的境界を改善し、理論と実際の性能のギャップを埋めることは可能か。

主な発見

• 部分モジュラリティ比は、コherenCe や条件数、RIPに基づく境界よりも、勾長法の性能をはるかに優れた指標で予測する。
• 実世界のデータでは、理論的境界が弱くても部分モジュラリティ比は高く保たれ（例：0.8以上）、Forward Regression が近似的に最適な性能を示す理由を説明できる。
• 低寄与度集合を除外した精緻化された部分モジュラリティ比推定値は、大多数の実世界ケースで 0.8 を超えることが確認され、理論と実際のギャップが著しく縮小された。
• 部分モジュラリティ比に基づく理論的保証は、従来の結果よりも強く、特に従来のスペクトル境界が失敗する高相関性や特異に近い状況において顕著である。
• 合成データにおけるR²プロットの下に凸の形状から、勾長法が性能を損なう可能性のある強いスーパーモジュラリティ行動を回避していることが裏付けられ、部分モジュラリティ比がその理由を説明している。
• この枠組みは辞書選択問題へも拡張可能であり、この問題クラスにおける勾長法の近似保証を著しく改善する。