[論文レビュー] Convex Relaxations for Subset Selection

Francis Bach, Selin Damla Ahipaşaoğlu+1 more|arXiv (Cornell University)|Jun 18, 2010

Sparse and Compressive Sensing Techniques参考文献 21被引用数 10

ひとこと要約

本稿では、部分集合選択問題の最適値に対する下界を計算するための凸緩和技術を提案し、分枝限定法のためのより緊密な下界を実現するとともに、確率的ラウンディングにより解の品質を向上させる。主な貢献は、スパース固有値緩和の保証可能な近似比の導出であり、正確な探索における探索ノード数を顕著に削減するとともに、ベンチマーク問題においてグリーディ法やLASSO法を上回る性能を発揮する。

ABSTRACT

We use convex relaxation techniques to produce lower bounds on the optimal value of subset selection problems and generate good approximate solutions. We then explicitly bound the quality of these relaxations by studying the approximation ratio of sparse eigenvalue relaxations. Our results are used to improve the performance of branch-and-bound algorithms to produce exact solutions to subset selection problems.

研究の動機と目的

• スパース最小二乗回帰におけるNP困難な部分集合選択問題に対する凸緩和に基づく下界を開発すること。
• これらの下界を用いて分枝限定法の探索木におけるノードの刈り込みを増やすことで、アルゴリズムの効率を向上させること。
• 緩和解に対する確率的ラウンディングを用いて、グリーディ法やLASSO法を上回る高品質な近似解を生成すること。
• スパース固有値緩和の性能に対する理論的近似限界を導出すること。
• 提案された下界が、正確な分枝限定法探索における訪問ノード数を顕著に削減することを実証的に示すこと。

提案手法

• 設計行列 $X$ と応答ベクトル $y$ を含むスパース固有値問題として部分集合選択問題を定式化し、半定値計画法による緩和を可能にする。
• 半定値計画法（SDP）を用いた凸緩和により、最適目的値の下界を保証する。
• SDP解行列 $Z$ の確率的ラウンディングを用いて、スパースな実行可能解を生成し、グリーディ法やLASSOベースの手法を凌駆する。
• 緩和により得られる下界を用いて分枝限定フレームワーク内でノードを刈り込むことで、正確な解探索の高速化を実現する。
• 大規模な半定値緩和を効率的に解くために一次順序法を用い、$p$ が1000に達する問題への適用を可能にする。
• 固有値の入れ子性と双対性を用いて、緩和の近似比に関する理論的限界を導出する。

実験結果

リサーチクエスチョン

• RQ1 凸緩和技術は、部分集合選択問題に対して緊密な下界を提供できるか。これにより、分枝限定法におけるノード刈り込みが向上するか。
• RQ2 緩和解に対する確率的ラウンディングの性能は、グリーディ法やLASSO法と比較して解の品質において優れているか。
• RQ3 部分集合選択問題に対するスパース固有値緩和の理論的近似比は何か。
• RQ4 提案された下界は、正確な部分集合選択のための分枝限定法において、探索ノード数をどの程度削減できるか。
• RQ5 $p$ が1000に達する大規模問題において、提案された緩和および解法手法のスケーラビリティはどの程度か。

主な発見

• 提案された凸緩和は、分枝限定法における訪問ノード数を顕著に削減する緊密な下界を提供し、小規模なテストインスタンスでは平均で最大57倍の高速化を達成した。
• 強化された確率的ラウンディングアルゴリズム（SDP解に対する確率的ラウンディングを適用）は、160個の小規模テストインスタンスのうち113個で最適解を発見し、グリーディ法（105/160）を上回った。
• 画像パッチデータ（$p=24$, $n=16$）において、$k=2,3,4$ の各条件下で10インスタンス中9つが最適に解かれた。最大相対ギャップは1%未満であり、グリーディ法は各$k$で1〜2インスタンス失敗した。
• 緩和から得られた下界は、探索木の大部分を刈り込むのに効果的であり、一部のケースでは平均訪問ノード数が98,000以上から200未満にまで低下した。
• SDP緩和の解法に要するCPU時間は合理的にスケーリングされ、$p=1000$ の場合でも1.5時間未満に収まった。実用的なスケーラビリティを示した。
• 緩和に基づく下界は、特に真のスパース解の正規化数に近い領域において、グリーディ法やLARSアルゴリズムの最良の結果を常に上回るか、同等の目的値を達成した。