[論文レビュー] Learning Sparse Nonparametric DAGs

Xun Zheng, Dan Chen+3 more|arXiv (Cornell University)|Sep 29, 2019

Bayesian Modeling and Causal Inference参考文献 64被引用数 23

ひとこと要約

本稿では、偏微分を用いて非パラメトリック構造方程式モデル（SEM）への代数的巡回性制約の拡張により、データからスパースな非パラメトリック有向無閉路グラフ（DAG）を学習する一般化された微分可能最適化フレームワークを提案する。この手法により、標準的な最適化ソルバーを用いたエンドツーエンドの学習が可能となり、特化したアルゴリズムやモデル固有の実装を必要とせず、非線形および非パラメトリックモデルにおいて最先端の性能を達成する。

ABSTRACT

We develop a framework for learning sparse nonparametric directed acyclic graphs (DAGs) from data. Our approach is based on a recent algebraic characterization of DAGs that led to a fully continuous program for score-based learning of DAG models parametrized by a linear structural equation model (SEM). We extend this algebraic characterization to nonparametric SEM by leveraging nonparametric sparsity based on partial derivatives, resulting in a continuous optimization problem that can be applied to a variety of nonparametric and semiparametric models including GLMs, additive noise models, and index models as special cases. Unlike existing approaches that require specific modeling choices, loss functions, or algorithms, we present a completely general framework that can be applied to general nonlinear models (e.g. without additive noise), general differentiable loss functions, and generic black-box optimization routines. The code is available at https://github.com/xunzheng/notears.

研究の動機と目的

• 各モデルタイプに特化したアルゴリズムを必要としない、スコアベースのDAG学習のための一般化されたモデルに依存しないフレームワークの開発。
• 従来、線形SEMに限定されていた巡回性の連続的最適化定式化を、一般の非パラメトリックおよび半パラメトリックモデルに拡張すること。
• 非パラメトリックDAG学習を滑らかで微分可能なプログラムとして定式化し、標準的な最適化ルーチン（例：L-BFGS-B）の使用を可能にすること。
• アダティブモデル、インデックスモデル、ニューラルネットワーク、直交基底展開など多様なモデルにおいて、フレームワークの有効性を示すこと。
• モデル固有またはアルゴリズム固有のチューニングを必要とせず、市販のソルバーが競争力ある性能を達成できることを示すこと。

提案手法

• 構造関数のヤコビ行列の行列指数のトレースを用いて、線形SEMから非パラメトリックSEMへの巡回性制約の拡張を実現する。
• 構造関数の偏微分を用いて、非パラメトリックモデルにおける巡回性を強制する連続的で微分可能なペナルティを定式化する。
• 多層パーセプトロン（MLP）やソボレフ型直交基底展開などの柔軟な関数族を用いて構造関数をパラメータライズする。
• 微分可能な巡回性ペナルティを備えた制約付き最適化問題としてDAG学習問題を再定式化し、標準的な非線形ソルバーで解けるようにする。
• スパarsityと性能の向上のため、ネIGHBORHOOD選択とエッジプルーニングを前処理／後処理ステップとして統合する。
• PyTorchを用いてフレームワークを実装し、エンドツーエンドのバックプロパゲーションとディープラーニングツールキットとの互換性を実現する。

実験結果

リサーチクエスチョン

• RQ1 DAG学習における巡回性制約は、線形モデルを超えて任意の非パラメトリック構造方程式モデルへ一般化可能か？
• RQ2 パラメトリック、半パラメトリック、非パラメトリックモデルのすべてに適用可能な、一様な最適化フレームワークを用いてDAGを学習できるか？
• RQ3 巡回性の微分可能で連続的な定式化により、非線形および非パラメトリックデータにおいて市販のソルバーで競争力ある性能が達成可能か？
• RQ4 実世界の生物学的データにおいて、既存の最先端手法と比較して、このフレームワークの性能はいかがなものか？
• RQ5 モデル容量（例：隠れユニット数）が非パラメトリックDAG学習における性能と一般化能力に与える影響は何か？

主な発見

• 実際のSachsデータセット（13エッジ）において、本フレームワークはSHD 16を達成し、NOTEARS（SHD 22）とGNN（SHD 19）を上回る性能を示した。
• d=20、n=200のアダティブGPおよびGP設定において、エッジプルーニングとネIGHBORHOOD選択を組み合わせた手法（NOTEARS-MLP++）はSHD 1.2を達成し、CAMと同等またはそれを上回る性能を示した。
• d=20、n=1000のアダプティブGPモデルにおいて、隠れユニット数を0から20に増加させるとSHDが改善したが、さらに100に増加させるとサンプル数が限られているため過学習が生じ、性能が劣化した。
• Sachsデータセットにおいて、本手法は11個の共通エッジのうち7つを正しく回復した。そのうち、他の手法では検出できなかった3つのエッジ（mek→erk、PIP3→PLCg、PKC→mek）も回復に成功した。
• 局所的探索手法が1つのエッジずつ更新するのに対し、本手法は勾配ベース最適化により、すべてのエッジを同時に効率的にグローバルに更新可能である。
• 本手法はモデル選択に対して頑健である：MLP、ソボレフ基底展開、さまざまな損失関数と組み合わせて使用可能であり、前処理（PNS）と後処理（エッジプルーニング）と組み合わせて利用可能である。