[論文レビュー] Does the 𝓁 1 -norm Learn a Sparse Graph under Laplacian Constrained Graphical Models?

Jiaxi Ying, José Vinícius de Miranda Cardoso+1 more|arXiv (Cornell University)|Jun 26, 2020

Sparse and Compressive Sensing Techniques参考文献 70被引用数 4

ひとこと要約

本稿は、ラプラシアン制約付きガウス graphical モデルにおける ℓ₁-ノルム正則化の有効性に疑問を呈し、正則化を強化することで逆にグラフが疎らなくなるという逆説的現象を示している。これを解決するために、線形収束を示す投影勾配降下法を用いる非凸で重み付き ℓ₁-正則化推定器を提案しており、最小最大最適な統計的誤差を達成し、合成データおよび実世界のデータにおいて標準的手法を上回る性能を示している。

ABSTRACT

We consider the problem of learning a sparse graph under Laplacian constrained Gaussian graphical models. This problem can be formulated as a penalized maximum likelihood estimation of the precision matrix under Laplacian structural constraints. Like in the classical graphical lasso problem, recent works made use of the $\ell_1$-norm regularization with the goal of promoting sparsity in Laplacian structural precision matrix estimation. However, we find that the widely used $\ell_1$-norm is not effective in imposing a sparse solution in this problem. Through empirical evidence, we observe that the number of nonzero graph weights grows with the increase of the regularization parameter. From a theoretical perspective, we prove that a large regularization parameter will surprisingly lead to a fully connected graph. To address this issue, we propose a nonconvex estimation method by solving a sequence of weighted $\ell_1$-norm penalized sub-problems and prove that the statistical error of the proposed estimator matches the minimax lower bound. To solve each sub-problem, we develop a projected gradient descent algorithm that enjoys a linear convergence rate. Numerical experiments involving synthetic and real-world data sets from the recent COVID-19 pandemic and financial stock markets demonstrate the effectiveness of the proposed method. An open source $\mathsf{R}$ package containing the code for all the experiments is available at this https URL.

研究の動機と目的

• ラプラシアン制約付き graphical モデルにおける ℓ₁-ノルム正則化の限界を調査すること。
• 正則化を強化するほどグラフが疎らなくなるという直感に反する現象を解明すること。
• 疎らなグラフ学習において最小最大最適な推定誤差を達成する非凸最適化フレームワークを開発すること。
• 非凸部分問題を解くために線形収束を示す効率的なアルゴリズムを設計すること。
• 合成データおよび実世界の応用（COVID-19 および金融株式市場ネットワーク含む）において手法を検証すること。

提案手法

• 疎らなグラフを促進するために、重み付き ℓ₁-ノルム正則化を用いた一連の非凸部分問題を解く最適化フレームワークを提案する。
• ラプラシアン構造を強制し、線形収束を保証する投影勾配降下法を開発する。
• 精度行列に構造的制約を課し、有効なグラフラプラシアンに対応することを保証する。
• 真の疎らなパターンをよりよく近似できるように、ℓ₁-正則化に適応的重みを導入する。
• 投影勾配スキームのもとで収束保証を満たすように、各部分問題を反復的に解く。
• 正則化レベルを徐々に小さくする継続戦略を用いて解を精緻化する。

実験結果

リサーチクエスチョン

• RQ1 ラプラシアン制約付き graphical モデルにおいて、ℓ₁-正則化は疎らさを効果的に誘導するのか？
• RQ2 この制約付き設定において、ℓ₁-正則化を強化するとなぜグラフが疎らかくなるのか？
• RQ3 ℓ₁-正則化の非凸緩和は、より良い疎らさと統計的性能を達成できるか？
• RQ4 提案された推定器は統計的に最適であり、最小最大下界に一致するか？
• RQ5 得られた非凸問題に対して、線形収束を示す効率的なアルゴリズムを設計できるか？

主な発見

• ラプラシアン制約付きモデルでは、ℓ₁-ノルム正則化は疎らさを誘導できない。正則化を強化するほど非ゼロのグラフ重みが増加する。
• 大きな正則化パラメータは、推定されたグラフを完全に連結にする結果となり、疎らさの目的と矛盾する。
• 提案された非凸手法は、最小最大下界に一致する統計的誤差を達成しており、最適な推定性能を示している。
• 投影勾配降下法は線形収束を示し、高速かつ安定した最適化を保証する。
• 数値実験では、合成データおよび実世界のデータ（COVID-19 および金融株式ネットワーク含む）において優れた性能を示した。
• オープンソースの R パッケージを提供しており、再現性の向上と手法の広範な採用を可能にしている。