[論文レビュー] Greedy Minimization of Weakly Supermodular Set Functions

Christos Boutsidis, Edo Liberty+1 more|arXiv (Cornell University)|Feb 23, 2015

Complexity and Algorithms in Graphs参考文献 7被引用数 5

ひとこと要約

この論文は、機械学習およびデータマイニングにおける非スーパーmodularな集合関数の最小化のための一般化された枠組み、弱-α-スーパーmodularityを導入する。初期解から出発する貪欲拡張アルゴリズムが近似比ρを満たす場合、追加でO(αk ln(ρ/ε))の要素を使用することで(1+ε)-近似が達成できることを証明している。これは、k-means、スパース回帰、およびカラムサブセット選択の二基準的結果を、以前の研究よりもタイトな境界とより広範な適用可能性で著しく改善する。

ABSTRACT

This paper defines weak-$α$-supermodularity for set functions. Many optimization objectives in machine learning and data mining seek to minimize such functions under cardinality constrains. We prove that such problems benefit from a greedy extension phase. Explicitly, let $S^*$ be the optimal set of cardinality $k$ that minimizes $f$ and let $S_0$ be an initial solution such that $f(S_0)/f(S^*) \le ρ$. Then, a greedy extension $S \supset S_0$ of size $|S| \le |S_0| + \lceil αk \ln(ρ/\varepsilon) ceil$ yields $f(S)/f(S^*) \le 1+\varepsilon$. As example usages of this framework we give new bicriteria results for $k$-means, sparse regression, and columns subset selection.

研究の動機と目的

• 機械学習およびデータマイニングで一般的な非スーパーmodularな集合関数へ貪欲アルゴリズムの適用を一般化すること。
• 貪欲アルゴリズムが1要素追加ごとに十分な進捗を達成することを保証する性質として、弱-α-スーパーmodularityを形式化すること。
• 基数制約付き最小化問題における二基準的近似の理論的枠組みを提供すること。
• スパース回帰、k-means、カラムサブセット選択の既存の境界を、近似要因のタイトニングと不足制約設定への拡張により改善すること。
• 曲率に類似したパラメータαを用いて、非部分modularまたは非スーパーmodularな目的関数に対する貪欲アルゴリズムの先行結果を統一的かつ拡張すること。

提案手法

• 弱-α-スーパーmodularityの定義：任意の集合SとTに対して、T∖Sを追加する総利益が、|T∖S|倍の1要素追加による最大利益をα倍に制限する。
• 目的関数f(S ∪ {i})を最小化する要素を反復的に追加する貪欲拡張アルゴリズムを提案。
• 理論的境界の確立：初期解S₀がf(S₀)/f(S*) ≤ ρを満たす場合、|S₀| + ⌈αk ln(ρ/ε)⌉のサイズにまで貪欲拡張することでf(S)/f(S*) ≤ 1+εが得られる。
• 3つの問題への適用：k-means、スパース多重線形回帰（SMLR）、カラムサブセット選択（CSS）。各問題において弱-α-スーパーmodularityが成り立つことを証明。
• 既知の近似アルゴリズムを活用して、有界なρを持つ初期解S₀を構築し、貪欲拡張により(1+ε)-近似を達成可能にする。
• 行列摂動理論と条件数の境界を用いて、特にCSSおよび回帰において、αを入力行列のスペクトル的性質に関連付ける。

実験結果

リサーチクエスチョン

• RQ1 基数制約付き最小化において、非スーパーmodularな集合関数に対して貪欲アルゴリズムが近似的最適解を保証的に達成できるか？
• RQ2 貪欲アルゴリズムが有界な追加要素数で(1+ε)-近似を達成できるような集合関数の構造的性質は何か？
• RQ3 弱-α-スーパーmodularityはスーパーmodularityをどのように一般化し、スパース回帰やカラム選択のような実用的問題におけるタイトな近似境界を可能にするか？
• RQ4 貪欲拡張フレームワークは、特に不足制約設定において、スパース回帰およびカラムサブセット選択の既存の二基準的結果を改善できるか？
• RQ5 パラメータαと回帰および行列近似問題における条件数や行列ノルムの関係は何か？

主な発見

• 貪欲拡張アルゴリズムは、ρ = f(S₀)/f(S*) かつ α が弱スーパーmodularityを定量化する場合、追加で|S₀| + ⌈αk ln(ρ/ε)⌉の要素を用いて、最適解f(S*)の(1+ε)-近似を達成する。
• スパース多重線形回帰（SMLR）において、弱-α-スーパーmodularityがα = max_S′ ||X_S′⁺||₂²で成り立つことを証明し、O(αk log(‖Y‖²_F / ε))の要素で二基準的近似を達成可能である。
• 既存の研究に比べ、近似要因を定数倍小さくし、かつ従来の結果が失敗する不足制約設定へも適用可能にすることで、スパース回帰における改善を実現。
• カラムサブセット選択において、初期解のρ ≤ 2、k+1、またはκ²(X)の場合、O(αk ln(ρ/δ))のカラムを用いてf(S) ≤ (1+δ)f(S*)の解が得られることを示した。
• 先行研究の曲率に基づく解析を拡張・精緻化し、カラムサブセット選択において1/(1−c) ≤ κ²(X)が成り立つことを示し、行列の条件数と近似品質の関連を明確にした。
• 理論的枠組みは、k-means、スパース回帰、カラムサブセット選択への具体的応用を通じて妥当性が検証され、それぞれが改善または一般化された二基準的境界を達成した。