[論文レビュー] Learning Graph Laplacian with MCP

Yangjing Zhang, Kim-Chuan Toh+1 more|arXiv (Cornell University)|Oct 22, 2020

Advanced Graph Neural Networks参考文献 67被引用数 6

ひとこと要約

本稿では、非凸MCP正則化と非負エッジ重みを満たすグラフラプラシアン学習を解くために、半スムーズニュートン法を組み合わせた不正確なプロキシマル差分凸法（DCA）を提案する。この手法は、行列の特異性の扱いや非凸なスパarsity促進に強く、大規模および実世界のデータにおいて、最先端の手法と比較して優れた効率性と信頼性を発揮する。

ABSTRACT

We consider the problem of learning a graph under the Laplacian constraint with a non-convex penalty: minimax concave penalty (MCP). For solving the MCP penalized graphical model, we design an inexact proximal difference-of-convex algorithm (DCA) and prove its convergence to critical points. We note that each subproblem of the proximal DCA enjoys the nice property that the objective function in its dual problem is continuously differentiable with a semismooth gradient. Therefore, we apply an efficient semismooth Newton method to subproblems of the proximal DCA. Numerical experiments on various synthetic and real data sets demonstrate the effectiveness of the non-convex penalty MCP in promoting sparsity. Compared with the existing state-of-the-art method, our method is demonstrated to be more efficient and reliable for learning graph Laplacian with MCP.

研究の動機と目的

• 非凸MCPペナルティと非負エッジ重みを課した条件下で、グラフラプラシアン行列を信頼性高くかつ効率的に学習する手法の開発。
• 特に高次元または特異行列における数値的不安定性やスケーラビリティの欠如といった、従来手法の限界を克服すること。
• 非正の非対角要素と行和がゼロである構造的制約を保ちつつ、推定されたグラフラプラシアンにおけるスパarsityを促進すること。
• 明確なアルゴリズムフレームワークにより、非凸最適化問題の臨界点への収束を保証すること。
• 合成データおよび実世界のデータの両方において、計算効率、解の品質、耐障害性の面で本手法の優位性を実証すること。

提案手法

• グラフラプラシアン学習を、ラプラシアン行列のスパarsityを促進する非凸最適化問題として定式化し、MCPペナルティを導入する。
• 臨界点への収束を保証する不正確なプロキシマル差分凸法（DCA）を設計し、非凸問題を解く。
• 各部分問題を、連続的微分可能で、半スムーズ勾配を持つ双対形式に再定式化し、半スムーズニュートン法による効率的解法を可能にする。
• 増大ラグランジュ関数における十分な減少を保証するためのラインサーチ戦略を導入し、収束の耐障害性を向上させる。
• 双対部分問題における滑らかさと構造を活用し、半スムーズニュートン法をDCAフレームワークに統合し、部分問題の効率的解法を実現する。
• 本手法を合成モジュラー・グラフおよび実世界データ（動物、上院、気温、リンパ、エストロゲン）に適用する。

実験結果

リサーチクエスチョン

• RQ1 MCPに基づく正則化は、非負エッジ重みを維持しつつ、グラフラプラシアン推定におけるスパarsityを効果的に促進できるか？
• RQ2 高次元または悪条件のデータにおいて、本手法の不正確なプロキシマルDCAは、NGLのような最先端手法と比較して、効率性と信頼性に優れているか？
• RQ3 双対部分問題に半スムーズニュートン法を適用することで、収束速度と耐障害性が顕著に向上するか？
• RQ4 特に実世界データにおいて頻発する行列の特異性問題を、本アルゴリズムは信頼性を持って処理できるか？
• RQ5 非凸MCPペナルティは、L1のような凸代替と比較して、真のグラフ構造の回復においてどの程度優れているか？

主な発見

• 本手法の不正確なプロキシマルDCAは、ランダムモジュラー・グラフ上のすべての合成インスタンスを正常に解き、高いF1スコアと低い回復誤差を達成した。一方、NGL手法は $ n \geq 240 $ の場合に失敗または早期に終了した。
• 実データにおいて、DCA手法はすべてのデータセット（上院、気温を含む）で安定的かつ妥当な解を返した。一方、NGL手法は行列の特異性に起因する数値的問題を経験し、内部で失敗した。
• 遺伝子データ（リンパ、$ n=587 $；エストロゲン、$ n=692 $）のような高次元データにおいて、DCAは妥当な時間内に解を計算したが、NGLは収束しなかった。
• 大規模問題において、DCAはNGLよりも著しく高速な計算時間を達成し、次元に応じて合理的にスケーリングされた。
• DCAの目的関数値は、NGLと比較して一貫して低く、安定的であった。これは、最適化性能の優位性を示している。
• DCAは悪条件行列に対しても耐障害性を示し、特異性問題に影響を受けなかった。これに対してNGLは、このような状況で内部で失敗した。