[論文レビュー] Group sparse optimization via $\ell_{p,q}$ regularization

Yaohua Hu, Chong Li+3 more|arXiv (Cornell University)|Jan 28, 2016

Sparse and Compressive Sensing Techniques参考文献 56被引用数 15

ひとこと要約

本稿では、高次元データにおけるスパarsityと回復精度を向上させるために、ℓ_{p,q}正則化を用いたグループスパース最適化フレームワークを提案する。理論的な回復バウンドを確立し、ℓ_{1,q}問題における線形収束を示すプロキシマル勾配法を開発し、実データおよびシミュレートデータを用いた遺伝子調節ネットワーク同定において優れた性能を示した。

ABSTRACT

In this paper, we investigate a group sparse optimization problem via $\ell_{p,q}$ regularization in three aspects: theory, algorithm and application. In the theoretical aspect, by introducing a notion of group restricted eigenvalue condition, we establish some oracle property and a global recovery bound of order $O(λ^\frac{2}{2-q})$ for any point in a level set of the $\ell_{p,q}$ regularization problem, and by virtue of modern variational analysis techniques, we also provide a local analysis of recovery bound of order $O(λ^2)$ for a path of local minima. In the algorithmic aspect, we apply the well-known proximal gradient method to solve the $\ell_{p,q}$ regularization problems, either by analytically solving some specific $\ell_{p,q}$ regularization subproblems, or by using the Newton method to solve general $\ell_{p,q}$ regularization subproblems. In particular, we establish the linear convergence rate of the proximal gradient method for solving the $\ell_{1,q}$ regularization problem under some mild conditions. As a consequence, the linear convergence rate of proximal gradient method for solving the usual $\ell_{q}$ regularization problem ($0

研究の動機と目的

• 高次元でアンダーデターミンドなシステムにおいて、従来のℓ₁正則化が強いスパarsityを達成するのを制限する点を是正すること。
• グループスパarsityを促進し、回復精度を向上させる非凸なℓ_{p,q}正則化フレームワークを構築すること。
• ℓ_{p,q}正則化におけるグループ制限固有値条件の下で理論的回復バウンドを確立すること。
• ℓ_{1,q}およびℓ_{p,q}問題における線形収束を示すプロキシマル勾配法の設計と分析を行うこと。
• ハイ・スループットおよびローフループットの生物学的ゴールドスタンダードを用いて、実際の遺伝子転写調節データに対して手法を検証すること。

提案手法

• ℓ_{p,q}正則化の回復特性を分析するため、グループ制限固有値条件を導入する。
• プロキシマル勾配法を用いてℓ_{p,q}部分問題を解き、特定のケースでは解析解を、一般ケースではニュートン法を用いる。
• やや厳しい条件のもとで、ℓ_{1,q}正則化におけるプロキシマル勾配法が線形収束することを確立する。
• AUC評価のため、逆スパarsityレベルに基づくスコア関数を用いて予測されたTF-ターゲット相互作用を順位付けする。
• ネットワーク同定の検証に、ハイ・スループット（ChIP-Array）およびローフループット（文献検証済み）のゴールドスタンダードデータセットを併用する。
• Kurdyka-Łojasiewicz理論を用いて、プロキシマル勾配法の臨界点へのグローバル収束を証明する。

実験結果

リサーチクエスチョン

• RQ1 0 < q < 1 かつ p ≥ 1 のℓ_{p,q}正則化は、ℓ₁正則化よりも優れたグループスパarsityと回復精度を達成できるか？
• RQ2 グループ制限固有値条件の下で、ℓ_{p,q}正則化に対してどのような理論的回復バウンドを確立できるか？
• RQ3 0 < q < 1 であるℓ_{1,q}およびℓ_{p,q}問題に対して、プロキシマル勾配法が線形収束するか？
• RQ4 実世界の遺伝子調節ネットワーク同定において、ℓ_{p,q}正則化は標準的なℓ₁およびℓ₀手法と比較してどのように性能を発揮するか？
• RQ5 提案手法は、ハイ・スループットおよびローフループットの生物学的ゴールドスタンダードの両方で高いAUCを達成できるか？

主な発見

• 本稿では、ℓ_{p,q}正則化問題の任意のレベル集合内の点に対して、O(λ^{2/(2−q)})のオーダーのグローバル回復バウンドを確立した。
• 変分解析を用いて、局所的最小値の経路に対して、O(λ²)のオーダーの局所的回復バウンドを導出した。
• やや厳しい条件下で、ℓ_{1,q}正則化におけるプロキシマル勾配法が線形収束することを示し、これは0 < q < 1 であるℓ_q正則化に対しても線形収束を示唆する。
• ハイ・スループットのゴールドスタンダードでは、ℓ_{2,1/2}、ℓ_{1,1/2}、ℓ_{2,0}正則化がほぼ同一のAUC値を達成し、これらはすべてℓ_{2,1}を著しく上回った。
• ローフループットのゴールドスタンダードでは、ℓ_{1,1/2}がℓ_{2,1/2}およびℓ_{2,0}をわずかに上回り、これら3つすべてがℓ_{2,1}を著しく上回った。
• ℓ_{p,1/2}およびℓ_{p,0}正則化が、サンプル数が限られたシステムにおける遺伝子調節ネットワーク同定に有効であり、生物学的に整合性のあるネットワーク再構築を可能にすることが示された。