[論文レビュー] Deep Generative Symbolic Regression

Samuel Holt, Zhaozhi Qian+1 more|arXiv (Cornell University)|Dec 30, 2023

Evolutionary Algorithms and Applications被引用数 4

ひとこと要約

本論文は、事前学習された深層生成モデルを活用して数学的方程式の不変表現を学習する、新たなフレームワークである深層生成的記号回帰（DGSR）を提案する。これにより、一般化性能と効率性が向上するスケーラブルな記号回帰が可能になる。DGSRは高次元問題において最先端の式回復率を達成し、可換性や分配法則といった方程式の不変性を不変ニューラルネットワークとエンドツーエンドのベイズ的訓練によって符号化することで、強化学習ベースラインと比較して推論時間を短縮する。

ABSTRACT

Symbolic regression (SR) aims to discover concise closed-form mathematical equations from data, a task fundamental to scientific discovery. However, the problem is highly challenging because closed-form equations lie in a complex combinatorial search space. Existing methods, ranging from heuristic search to reinforcement learning, fail to scale with the number of input variables. We make the observation that closed-form equations often have structural characteristics and invariances (e.g., the commutative law) that could be further exploited to build more effective symbolic regression solutions. Motivated by this observation, our key contribution is to leverage pre-trained deep generative models to capture the intrinsic regularities of equations, thereby providing a solid foundation for subsequent optimization steps. We show that our novel formalism unifies several prominent approaches of symbolic regression and offers a new perspective to justify and improve on the previous ad hoc designs, such as the usage of cross-entropy loss during pre-training. Specifically, we propose an instantiation of our framework, Deep Generative Symbolic Regression (DGSR). In our experiments, we show that DGSR achieves a higher recovery rate of true equations in the setting of a larger number of input variables, and it is more computationally efficient at inference time than state-of-the-art RL symbolic regression solutions.

研究の動機と目的

• 多数の入力変数を扱う際の、従来の記号回帰手法のスケーラビリティと計算非効率性を解決すること。
• 可換性や分配法則といった構造的不変性を符号化する方程式表現を学習すること。これらは従来のアプローチでしばしば無視されている。
• 事前学習時に観測されなかった入力変数に対しても、効率的な推論と一般化を可能にすること。
• エンドツーエンドの訓練を用いた原理的で統一的な深層生成フレームワークに根ざした、従来の記号回帰手法の統合と改善すること。

提案手法

• DGSRは、ベイズ推論にインspiredされた損失関数を用いてエンドツーエンドに訓練された、深層的条件付き生成モデルを採用し、方程式の不変表現を学習する。
• モデルは、方程式構造における可換性や分配法則といった対称性を明示的に符号化する不変ニューラルネットワークを用いる。
• 方程式は木構造や系列として表現されるのではなく、既知の代数的変換において同等性を保つ構造的潜在表現として表現される。
• 推論時に事前学習済みモデルの勾配ベースの最適化が可能であり、再訓練なしに効率的な最適化が実現される。
• 事前学習は、大規模な方程式コーパス上で実施され、内在的な規則性や不変性が学習され、その後データ固有の勾配を用いてファインチューニングされる。
• 事前学習済み生成モデルの誘導的バイアスとその構造的潜在空間を活用することで、事前学習時に観測されなかった高次元の入力変数に対しても一般化が可能になる。

Figure 2: Block diagram of DGSR. DGSR is able to learn the invariances of equations and datasets $\mathcal{D}$ (P1) by having both: (1) an encoding architecture that is permutation invariant across the number of samples $n$ in the observed dataset $\mathcal{D}=\{(\mathbf{X}_{i},y_{i})\}_{i=1}^{n}$ ,

実験結果

リサーチクエスチョン

• RQ1 深層生成モデルは、可換性や分配法則といった代数的不変性を記号回帰において効果的に捉え、符号化できるか？
• RQ2 不変方程式表現を学習することで、入力変数の増加に伴い、記号回帰におけるスケーラビリティと一般化性能が向上するか？
• RQ3 事前学習済み生成モデルのエンドツーエンド訓練により、完全な再訓練なしに効率的な推論と勾配ベースの最適化が可能になるか？
• RQ4 強化学習およびヒューリスティックベースの記号回帰手法と比較して、DGSRは式回復率と計算コストの両面で優れているか？
• RQ5 提案されたフレームワークは、従来の手法で達成できなかったより高次元の入力空間に一般化できるか？

主な発見

• DGSRは、最先端の強化学習およびヒューリスティックベースの手法と比較して、入力変数の数が多い設定でも真の根本的方程式の回復率がより高い。
• 推論時の計算コストが強化学習ベースラインと比べて顕著に低減されており、高速な式発見が可能になる。
• 事前学習時に観測されたものより高次元の未観測入力変数に対しても、DGSRは効果的に一般化でき、スケーラビリティの目的を満たしている。
• ベイズ的損失にインspiredされたエンドツーエンド訓練スキームにより、事前学習済みモデルの勾配による効果的最適化が可能となり、再訓練なしにデータ固有の性能が向上する。
• DGSRはSRBenchベンチマークデータセットにおいて、特に高い対称性と構造を持つ複雑な方程式の回復において、最先端のパフォーマンスを達成している。
• アブレーションスタディの結果、不変ニューラルネットワークによる不変性の符号化が、特に高次元設定において性能に不可欠であることが確認された。

Figure 3: (a) Number of unique ground truth $f^{*}$ equivalent equations discovered for problem Feynman-7 (A. L ), (b) Percentage of valid equations generated from a sample of $k$ for problem Feynman-7 (A. L ), (c) Average recovery rate of Feynman $d=2$ , Feynman $d=5$ and Synthetic $d=12$ benchmark