[論文レビュー] Subexponential-Time Algorithms for Sparse PCA

Yunzi Ding, Dmitriy Kunisky+2 more|arXiv (Cornell University)|Jul 26, 2019

Random Matrices and Applications参考文献 77被引用数 21

ひとこと要約

本稿は、スパースPCAにおけるスパikedWignerおよびWishartモデルにおいて、多項式時間の対角閾値処理と指数時間の全探索の間を滑らかに補間することで、スパarsityと実行時間の間で滑らかなトレードオフを達成する、サブ指数時間アルゴリズムを提示する。1/√n ≪ ρ ≪ 1 の範囲で、ρ²n の時間で回復が可能であることが示され、低次の尤度比からの厳密な証拠により、このトレードオフが計算的に最適であると示唆されている。

ABSTRACT

We study the computational cost of recovering a unit-norm sparse principal component $x \in \mathbb{R}^n$ planted in a random matrix, in either the Wigner or Wishart spiked model (observing either $W + λxx^ op$ with $W$ drawn from the Gaussian orthogonal ensemble, or $N$ independent samples from $\mathcal{N}(0, I_n + βxx^ op)$, respectively). Prior work has shown that when the signal-to-noise ratio ($λ$ or $β\sqrt{N/n}$, respectively) is a small constant and the fraction of nonzero entries in the planted vector is $\|x\|_0 / n = ρ$, it is possible to recover $x$ in polynomial time if $ρ\lesssim 1/\sqrt{n}$. While it is possible to recover $x$ in exponential time under the weaker condition $ρ\ll 1$, it is believed that polynomial-time recovery is impossible unless $ρ\lesssim 1/\sqrt{n}$. We investigate the precise amount of time required for recovery in the "possible but hard" regime $1/\sqrt{n} \ll ρ\ll 1$ by exploring the power of subexponential-time algorithms, i.e., algorithms running in time $\exp(n^δ)$ for some constant $δ\in (0,1)$. For any $1/\sqrt{n} \ll ρ\ll 1$, we give a recovery algorithm with runtime roughly $\exp(ρ^2 n)$, demonstrating a smooth tradeoff between sparsity and runtime. Our family of algorithms interpolates smoothly between two existing algorithms: the polynomial-time diagonal thresholding algorithm and the $\exp(ρn)$-time exhaustive search algorithm. Furthermore, by analyzing the low-degree likelihood ratio, we give rigorous evidence suggesting that the tradeoff achieved by our algorithms is optimal.

研究の動機と目的

• スパースPCAにおいて、多項式時間で回復可能なスパarsity（ρ ≲ 1/√n）と情報理論的に可能とされる範囲（ρ ≪ 1）との間のギャップを埋めること。
• 1/√n ≪ ρ ≪ 1 の「可能だが難しい」領域において、スパースPCAをサブ指数時間 exp(n^δ) で処理できる効率的なアルゴリズムを設計すること。
• 低次の尤度比を用いて、提案された実行時間-スパarsityトレードオフが計算的に最適であるという、厳密な証拠を提供すること。
• 多項式時間の対角閾値処理と指数時間の全探索の両方の既存アルゴリズムを、連続的なサブ指数時間アルゴリズムの族に統合すること。

提案手法

• スパarsityレベル ρ に対して実行時間が exp(ρ²n) に比例するサブ指数時間アルゴリズムの族を提案し、対角閾値処理と全探索の間を滑らかに補間する。
• スパースPCAの計算的困難性を分析するため、低次の尤度比フレームワークを用い、WignerおよびWishartのスパikedモデルにおける次数 d の尤度比の上限を求める。
• 組合せ的推定とモーメントの上限を用いて、低次の尤度比のノルムを制御し、特に展開における次数 d 項の寄与に注目する。
• Chernoffの不等式と二項係数および階乗の漸近的近似を用いて、尤度比ノルムの成長に対するタイトな上限を導出する。
• サブ指数時間実行を保証しながら信号検出能力を維持するために、D_n = o(n) を導入して次数 d 展開を切り詰める。
• 低次の尤度比ノルムが発散するかどうかを判定するための臨界閾値条件 w_n = ⌈log(1/λ_n)⌉ を導入し、特定のスパarsity閾値未満では計算的に困難であることを示す。

実験結果

リサーチクエスチョン

• RQ1 スパarsity ρ が 1/√n ≪ ρ ≪ 1 を満たす場合、多項式時間アルゴリズムが失敗する領域において、スパースPCAをサブ指数時間で解けるか？
• RQ2 スパikedWignerおよびWishartモデルにおけるスパースPCA回復において、スパarsity ρ と実行時間の最適なトレードオフは何か？
• RQ3 提案されたサブ指数時間アルゴリズムは計算的に最適であるか、より優れたアルゴリズムが存在するか？
• RQ4 低次の尤度比フレームワークは、スパースPCA問題における計算的困難性を厳密に証明できるか？
• RQ5 スパiked行列モデルの固有値特性は、サブ多項式時間またはサブ指数時間での回復可能性にどのように影響するか？

主な発見

• 本稿は、実行時間が exp(ρ²n) のサブ指数時間アルゴリズムを構築し、多項式時間の対角閾値処理と指数時間の全探索の間を滑らかに補間する。
• Wignerモデルでは、ρ ≳ 1/√n の範囲で弱い回復が達成され、1/√n ≪ ρ ≪ 1 の範囲で実行時間が exp(ρ²n) に比例する。
• 低次の尤度比ノルムが ρ ≲ C√(D_n/n)λ_n log⁻²(1/λ_n) のとき発散することから、δ < 1 の exp(n^δ) 時間で実行されるアルゴリズムでは、この閾値未満では成功できないことが示唆される。
• 分析により、提案されたアルゴリズムが低次の多項式モデル下でスパarsityと実行時間のトレードオフが最適であることが示され、計算的困難性に対する強い証拠が得られた。
• Wignerモデルでは、λ_n > 1 かつ ρ ≳ 1/√n のとき、アルゴリズムは成功し、実行時間は exp(ρ²n) であり、全探索の exp(ρn) よりも著しく高速である。
• Wishartモデルに対しても、同じアルゴリズム的枠組みが適用可能で、β および ρ に関する類似の条件下で実行時間の上限 exp(ρ²n) が成立し、両モデルにおける堅牢性が確認された。