[論文レビュー] uGLAD: Sparse graph recovery by optimizing deep unrolled networks

Harsh Shrivastava, Urszula Chajewska+2 more|arXiv (Cornell University)|May 23, 2022

Bayesian Modeling and Causal Inference被引用数 5

ひとこと要約

uGLAD は、微分可能グラフィカルラasso目的関数を最適化することで、教師なしの深層アンロールネットワークを用いてスパースグラフ回復を実現し、ニューラルネットワークを通じて適応的正則化パラメータを自動で学習する。合成ガウス分布、非ガウス型遺伝子調節ネットワーク、嫌気性消化プロセスのデータにおいて、マルチタスク・コンセンサス戦略による欠損データへのロバストな性能を示し、最先端手法を上回る性能を発揮する。

ABSTRACT

Probabilistic Graphical Models (PGMs) are generative models of complex systems. They rely on conditional independence assumptions between variables to learn sparse representations which can be visualized in a form of a graph. Such models are used for domain exploration and structure discovery in poorly understood domains. This work introduces a novel technique to perform sparse graph recovery by optimizing deep unrolled networks. Assuming that the input data $X\in\mathbb{R}^{M imes D}$ comes from an underlying multivariate Gaussian distribution, we apply a deep model on $X$ that outputs the precision matrix $\hatΘ$, which can also be interpreted as the adjacency matrix. Our model, uGLAD, builds upon and extends the state-of-the-art model GLAD to the unsupervised setting. The key benefits of our model are (1) uGLAD automatically optimizes sparsity-related regularization parameters leading to better performance than existing algorithms. (2) We introduce multi-task learning based `consensus' strategy for robust handling of missing data in an unsupervised setting. We evaluate model results on synthetic Gaussian data, non-Gaussian data generated from Gene Regulatory Networks, and present a case study in anaerobic digestion.

研究の動機と目的

• ゲノムや環境システムなど、実世界の分野で一般的に見られる高次元・高ノイズ・欠損データを伴うスパースグラフ回復の課題に対処すること。
• 精度行列のすべての要素に同一の手動で調整された正則化パラメータに依存する従来のグラフィカルラasso手法の限界を克服すること。
• スパース正則化とグラフ構造学習を教師なしで同時に最適化できる、エンドツーエンドの微分可能フレームワークを構築すること。
• 複数のサンプル間で共有される構造を活用するマルチタスク学習「コンセンサス」戦略により、欠損データに対してロバストな処理を可能にすること。
• システム生物学やファイナンシャルモデリングなど多様な分野に一般化可能な、GPUアクセcelレートされたスケーラブルなディープラーニングソリューションを提供すること。

提案手法

• uGLAD は、補助変数 Z を用いて精度行列 Θ と ℓ₁ 正則化を分離することで、グラフィカルラasso目的関数を再定式化し、微分可能最適化を可能にする。
• 各イテレーションを再帰ユニット（GLADcell）としてモデル化した微分可能アンロール最適化ループを導入し、時間方向の誤差逆伝播によりモデルパラメータを学習可能にする。
• スパース正則化は、エントリごとの正則化重み ρ_ij を予測するニューラルネットワークによってパrameter化され、精度行列全体にわたるデータ依存の適応的スパース性を実現する。
• バッチ内の複数のサンプルを同時に最適化するマルチタスク学習戦略を採用し、複数サンプル間でのグラフ構造の一致を促進する「コンセンサス」損失関数を導入することで、欠損データに対する耐性を向上させる。
• 最適化中に精度行列の正定値性を維持するため、微分可能なシュール補完に基づく更新ルールを採用する。
• 再パラメータライズド目的関数：最小化 -log(det Θ) + tr(Σ̂Θ) + ρ‖Z‖₁ + (1/2)λ‖Z - Θ‖²_F を用い、Θ と Z は誤差逆伝播により更新される。

実験結果

リサーチクエスチョン

• RQ1 教師ありチューニングなしに、スパースグラフ回復のための最適で適応的正則化パラメータを、ディープアンロールネットワークが自動で学習できるか？
• RQ2 合成および実世界の非ガウス分布データにおいて、uGLAD は古典的グラフィカルラassoおよび教師あり GLAD と比較して、どのような性能を示すか？
• RQ3 マルチタスクコンセンサス戦略を用いることで、教師なし設定下で uGLAD はどの程度欠損データに対処できるか？
• RQ4 ディープアンロールアーキテクチャにおけるエンドツーエンドの微分可能最適化は、従来の凸最適化ソルバーよりも高い回復精度と高いサンプル効率を達成できるか？
• RQ5 uGLAD は、嫌気性消化や遺伝子調節ネットワークといった実世界の分野に効果的に適用可能であり、生物学的インサイトを生成できるか？

主な発見

• uGLAD は、合成ガウス分布データにおいて、標準的グラフィカルラassoおよび教師あり GLAD モデルを著しく上回り、精度行列回復において高い F1 スコアと低い推定誤差を達成した。
• 遺伝子調節ネットワークから生成された非ガウス分布データにおいて、uGLAD はベースライン手法よりも高い真正陽性率と低い偽発見率でグラフ構造を回復した。
• 嫌気性消化の事例研究では、uGLAD は中温および高温嫌気性消化器ネットワーク間で共通のエッジを効果的に同定し、条件依存の相関関係を明らかにした。これにより、分野の専門家は微生物相互作用に関する仮説を立てることができた。
• マルチタスクコンセンサス戦略は、欠損データ下での性能低下を効果的に緩和し、最大 30% のエントリが欠損している状況でも、高いグラフ回復精度を維持した。
• GPUアクセcelレーションと微分可能最適化により、uGLAD は大規模問題において高速収束と優れたスケーラビリティを達成し、高次元データセットにおいて、従来のソルバーよりも実行時間効率に優れた性能を発揮した。
• 適応的正則化重みの学習能力により、特にサンプル数が少ない状況下で標準ラassoが失敗するような環境でも、より優れたサンプル複雑性と耐性を示した。