[論文レビュー] Discovering Symbolic Models from Deep Learning with Inductive Biases

Miles Cranmer, Álvaro Sánchez‐González+5 more|arXiv (Cornell University)|Jun 19, 2020

Model Reduction and Neural Networks参考文献 61被引用数 269

ひとこと要約

本論文は、グラフニューラルネットワークから、疎な潜在表現を強制し、内部コンポーネントに対してシンボリック回帰を適用することにより、象徴的で人間が解釈できる方程式を抽出し、既知の物理法則を再発見し、宇宙論に関連する新しい式を発見することに成功している。

ABSTRACT

We develop a general approach to distill symbolic representations of a learned deep model by introducing strong inductive biases. We focus on Graph Neural Networks (GNNs). The technique works as follows: we first encourage sparse latent representations when we train a GNN in a supervised setting, then we apply symbolic regression to components of the learned model to extract explicit physical relations. We find the correct known equations, including force laws and Hamiltonians, can be extracted from the neural network. We then apply our method to a non-trivial cosmology example-a detailed dark matter simulation-and discover a new analytic formula which can predict the concentration of dark matter from the mass distribution of nearby cosmic structures. The symbolic expressions extracted from the GNN using our technique also generalized to out-of-distribution data better than the GNN itself. Our approach offers alternative directions for interpreting neural networks and discovering novel physical principles from the representations they learn.

研究の動機と目的

• 解釈可能な物理系風のモデルを得るために、深層学習とシンボリック回帰の組み合わせを動機づける。
• グラフネットワークの強い帰納バイアスを活用して、コンパクトな内部表現を学習する。
• 学習済みGNコンポーネントに対してシンボリック回帰を適用することで、明示的な解析表現を抽出する。
• ニュートン力学、ハミルトニアン力学、宇宙論（ダークマター・ハロー）を対象にアプローチを実証する。
• 分布外データに対して、象徴的表現が元のニューラルモデルより一般化性能が高いことを示す。

提案手法

• 相互作用粒子系に適した帰納バイアスを備えたエッジ・ノード・グローバルモデルを用いたグラフネットワークを使用する。
• 正則化（L1またはKL）やボトルネックを介してコンパクトな潜在表現を促進し、ダイナミクスや系エネルギーのエンドツーエンド予測を行う。
• 学習したGNコンポーネント（phi^e, phi^v, phi^u）に対して解析表現を当てはめるためにシンボリック回帰（eureqa）を適用する。
• GN内部関数を学習した象徴表現に置換し、解析モデルを得るためにパラメータを再適合させる。
• ハミルトン系の場合、Flattened Hamiltonian Graph Networkを用いてsymbolic extractionのためのH_pairとH_self項を取得する。
• 力学法則やポテンシャルの抽出を実証し、ダークマターのハローを含む宇宙論データセットで検証する。

実験結果

リサーチクエスチョン

• RQ1 グラフネットワークの強い帰納バイアスは、学習したダイナミクスを記述する明示的なシンボリック方程式の抽出を可能にするか。
• RQ2 GNコンポーネントから導出された象徴表現は、ニュートン力学の力、ハミルトニアンなどの既知の物理法則に対応し、分布外データへ一般化できるか。
• RQ3 現実世界データセット（宇宙論）において、力の法則を再現する以上の新しい、解釈可能な式をシンボリック回帰が回復できるか。
• RQ4 正則化（L1またはKL）やボトルネックは、基礎となる物理の解釈性と再現性を改善するか。

主な発見

• 訓練されたグラフネットワークから既知の力の法則とハミルトニアンを回復できる。
• L1正則化とボトルネック制約は、真の力と相関する解釈性が高くコンパクトな潜在表現を生む。
• 内部GNコンポーネントに対して適用したシンボリック回帰は、物理法則（例：1/r^2の力、スプリングポテンシャル）に一致する明示的な解析表現を抽出できる。
• 宇宙論データから近傍質量分布からダークマターの過剰密度を予測する新しい解析式が発見され、手作りモデルと同等の誤差で競合する性能を発揮した。
• 象徴表現は Cosmology の例で分布外データへ元のGNよりも一般化され、一般化のための象徴的解釈の利点を示唆する。