[論文レビュー] Variable Selection is Hard

Dean P. Foster, Howard Karloff+1 more|arXiv (Cornell University)|Dec 15, 2014

Sparse and Compressive Sensing Techniques参考文献 16被引用数 26

ひとこと要約

この論文は、真のスパarsityよりもほぼ指数関数的要因だけ多く非ゼロを含む解を許容し、顕著な残差誤差を許容するとしても、スパース線形回帰における変数選択が計算的に困難であることを証明している。標準的な複雑性仮定のもとでは、任意の多項式時間アルゴリズムがスパarsity $ k' = k \cdot 2^{\log^{1-\delta} p} $ かつ誤差 $ h(m,p) \leq p^{C_1} m^{1-C_2} $ を満たす解を保証することはできない。これは、正確な $ k $-スパース解が存在する場合でさえも同様である。

ABSTRACT

Variable selection for sparse linear regression is the problem of finding, given an m x p matrix B and a target vector y, a sparse vector x such that Bx approximately equals y. Assuming a standard complexity hypothesis, we show that no polynomial-time algorithm can find a k'-sparse x with ||Bx-y||^2<=h(m,p), where k'=k*2^{log^{1-delta} p} and h(m,p)<=p^(C_1)*m^(1-C_2), where delta>0, C_1>0,C_2>0 are arbitrary. This is true even under the promise that there is an unknown k-sparse vector x^* satisfying Bx^*=y. We prove a similar result for a statistical version of the problem in which the data are corrupted by noise. To the authors' knowledge, these are the first hardness results for sparse regression that apply when the algorithm simultaneously has k'>k and h(m,p)>0.

研究の動機と目的

• スパarsityと残差誤差の緩い制約のもとで、スパース線形回帰の計算的困難性を確立すること。
• 正確なスパース解よりもはるかに多くの非ゼロを含むが、依然として最適でない誤差境界を満たす解を得られる多項式時間アルゴリズムが存在しないことを示すこと。
• スパース回帰における最初の困難性結果を提示し、同時にスパarsityの増加と正の残差誤差を許容することを可能にすること。
• ガウスノイズによって汚染されたデータを想定するノイズあり回帰設定への困難性結果を拡張すること。
• スパース回帰の非可解性と、最小二乗法によるノイズあり回帰の可解性を対比すること。

提案手法

• Feigeの還元を用いて、NP困難な集合被覆問題をスパース回帰インスタンスに還元し、$ k $-集合被覆が存在するか否かが、ターゲットベクトルが $ k $ 個の列の線形結合として正確に表現可能であるか否かと等価になるように保つ。
• 集合被覆のインシデント行列 $ B $ を $ r $ 回スタックしてブロック行列 $ B' $ を構築し、充足不能なインスタンスにおける残差誤差を増加させる。
• 確率的アンプリフィケーション技術を用いる：ターゲットベクトルのノイズありバージョンを複数回にわたりアルゴリズムに供給することで、成功確率を高める。
• マルコフの不等式を適用して、残差誤差がしきい値 $ h(m,p) $ を超える確率を抑え、高確率での正しさを保証する。
• i.i.d. のガウスノイズを生成し、複数回の試行を用いて成功確率を高める手法により、ノイズありスパース回帰から正確なスパース回帰への還元を確立する。
• 複雑性理論的仮定（例：SAT が $ \textsc{DTime}(n^{O(\log\log n)}) $ に属さない）を用いて、達成可能な誤差とスパarsityの下界を導出する。

実験結果

リサーチクエスチョン

• RQ1 正確な $ k $-スパース解が存在する場合でも、スパース回帰の多項式時間アルゴリズムがスパarsity $ k' = k \cdot 2^{\log^{1-\delta} p} $ かつ誤差 $ h(m,p) \leq p^{C_1} m^{1-C_2} $ を満たす解を得られるか？
• RQ2 誤差許容度を緩くしても、真のスパース解よりもはるかに多くの非ゼロを含む解を得るための根本的な計算的障壁は存在するか？
• RQ3 正確なスパース回帰と、最小二乗法が効率的であると知られているノイズありスパース回帰の困難性は、どのように対比されるか？
• RQ4 強いオракルに依存せずに、標準的な複雑性仮定のもとでスパース回帰の困難性を証明できるか？
• RQ5 真のスパース解よりもわずかに多くの非ゼロを含む解を出力できると仮定した場合、任意の多項式時間アルゴリズムが達成できる最小の誤差境界は何か？

主な発見

• SAT $ \notin \textsc{DTime}(n^{O(\log\log n)}) $ を仮定すると、$ g(p) = (1-\delta)\ln p $ かつ $ h(m,p) = m^{1-\delta} $ である $ (g,h) $-スパース回帰を解く多項式時間アルゴリズムは存在しない。
• 本論文は、$ k' > k $ かつ $ h(m,p) > 0 $ を同時に許容するスパース回帰における最初の困難性結果を確立し、先行研究のギャップを埋めた。
• ノイズあり回帰の変種では、スパarsityがほぼ指数関数的に増加しても、多項式時間アルゴリズムがリスクを $ p^{C_1} m^{1-C_2} $ 以下に抑えられるとは限らないことを証明した。
• 繰り返しサンプリングとマルコフの不等式を用いて、ノイズありスパース回帰から正確なスパース回帰への還元を構築し、ノイズありケースでの困難性が正確なケースの困難性を示唆することを示した。
• 最小二乗法によるノイズあり回帰は、$ m $ に依存せず常にリスク $ p $ を達成できることと対照的に、正確な設定とノイズあり設定の間には根本的なギャップがあることが明確になった。
• アルゴリズムが $ k' = k \cdot 2^{\log^{1-\delta} p} $ 個の非ゼロを含む解を出力することを許容しても、その困難性は依然として成立しており、このような「抜け道」によって問題が可解になることはない。