[論文レビュー] Truncated Matrix Power Iteration for Differentiable DAG Learning

Zhen Zhang, Ignavier Ng+6 more|arXiv (Cornell University)|Aug 30, 2022

Remote-Sensing Image Classification被引用数 4

ひとこと要約

本稿では、幾何級数に基づくDAG制約を近似するために、切り捨てられた行列べき乗反復（TMPI）を用いた、新しい微分可能なDAG学習手法を提案する。この手法により、高次多項式項の係数を大きくしても数値的不安定性が生じず、特にスパースなグラフにおいて、構造的ハミング距離（SHD）を最大3倍改善する。勾配消失を緩和しながらも計算効率を維持する点で、最先端の手法を上回る性能を発揮する。

ABSTRACT

Recovering underlying Directed Acyclic Graph (DAG) structures from observational data is highly challenging due to the combinatorial nature of the DAG-constrained optimization problem. Recently, DAG learning has been cast as a continuous optimization problem by characterizing the DAG constraint as a smooth equality one, generally based on polynomials over adjacency matrices. Existing methods place very small coefficients on high-order polynomial terms for stabilization, since they argue that large coefficients on the higher-order terms are harmful due to numeric exploding. On the contrary, we discover that large coefficients on higher-order terms are beneficial for DAG learning, when the spectral radiuses of the adjacency matrices are small, and that larger coefficients for higher-order terms can approximate the DAG constraints much better than the small counterparts. Based on this, we propose a novel DAG learning method with efficient truncated matrix power iteration to approximate geometric series based DAG constraints. Empirically, our DAG learning method outperforms the previous state-of-the-arts in various settings, often by a factor of $3$ or more in terms of structural Hamming distance.

研究の動機と目的

• 高次多項式項に小さな係数が与えられることが原因で生じる微分可能なDAG学習における勾配消失問題を解消すること。
• 隣接行列のスペクトル半径が小さい場合、高次項に大きな係数を割り当てることの安全性と有益性を示すこと。
• 境界付きの誤差と低い計算コストで、幾何級数に基づくDAG制約を近似する効率的なアルゴリズムを開発すること。
• 合成的および実世界の設定において、DAG学習の精度と頑健性を向上させること。
• 最先端のモデルに組み込まれた既存のDAG制約を、提案されたTMPIベースの制約に置き換えることで、性能向上を達成すること。

提案手法

• 隣接行列の多項式としての次数dの幾何級数に基づくDAG制約を提案し、ネガティブな性質を緩和するため、高次項に大きな係数を割り当てることで、零性条件の近似を改善する。
• 幾何級数の近似をO(log k)時間で計算する効率的なアルゴリズムとして、切り捨てられた行列べき乗反復（TMPI）を導入する。ここでkは、級数の有効な次数である。
• TMPIアルゴリズムは理論的誤差境界を維持しており、近似値が真の幾何級数と制御可能な許容誤差内に保たれることを保証する。
• DAGの隣接行列が零性であるという事実を活用し、スペクトル半径が小さいため、大きな係数が存在しても数値的爆発が発生しない。
• NOTEARS、DAG-GNN、GRAN-DAGといった既存の微分可能なDAGフレームワークに、元の多項式ベースのサイクルフリー制約を置き換えることで、本手法を統合する。
• 制約の実行可能集合に変化が生じないよう、k ≤ dとなる低次元のkを特定するヒューリスティックを採用し、さらなる計算コストの削減を実現する。

実験結果

リサーチクエスチョン

• RQ1 高次多項式項に大きな係数を割り当てることで、数値的不安定性を引き起こさずにDAG制約の精度を向上させることができるか？
• RQ2 切り捨てられた反復手法を用いて、境界付き誤差で隣接行列の幾何級数を効率的に近似できるか？
• RQ3 既存のDAG制約を幾何級数に基づく制約に置き換えることで、多様なグラフ構造においてSHDに顕著な改善が得られるか？
• RQ4 提案されたTMPIアルゴリズムは、単純実装および既存の実装と比較して、速度と精度の両面で優れているか？
• RQ5 本手法は、高次項がサイクルフリー性を保証するために不可欠なスパースDAGにおいて、勾配消失を効果的に緩和できるか？

主な発見

• 提案されたTMPIベースのDAG制約により、さまざまな設定において、最先端の手法と比較して構造的ハミング距離（SHD）が最大3倍まで低減された。
• 50ノードのER1非線形SEMにおいて、本手法はSHD 22.2±4.2を達成し、DAG-GNNの25.2±4.5を上回った。
• 50ノードの非線形MLPデータセットにおいて、TMPI制約を組み込んだNOTEARS-MLPはSHD 14.9±1.3を達成したのに対し、元のNOTEARS-MLPでは16.9±1.5であった。
• Sachsのたんぱく質シグナル伝達データセットでは、DAG制約をTMPIに置き換えることで、SHDはDAG-GNNで16から16に、Gran-DAGで13から12に低下し、対応するSHDCは21から17、11から9に改善された。
• 高速なTMPI実装は、特に大きなグラフにおいて、単純実装よりも著しく高速でありながら、同程度のSHD性能を維持した。
• 本手法は、大きな係数により情報量の多い高次項を有効に活用することで、スパースなグラフにおける勾配消失を効果的に緩和し、勾配や数値的爆発を引き起こさない。