[論文レビュー] Accelerating Understanding of Scientific Experiments with End to End Symbolic Regression

Nikos Aréchiga, Francine Chen+5 more|arXiv (Cornell University)|Dec 7, 2021

Evolutionary Algorithms and Applications被引用数 5

ひとこと要約

この論文では、rawな実験データテーブルを直接解釈可能な記号的方程式にマッピングすることで、エンドツーエンドの記号的回帰を実行する深層ニューラルネットワーク、MACSYMAを紹介する。変動する長さとノイズを含む合成データセットで訓練されたMACSYMAは、遺伝的プログラミングやモンテカルロ探索といった計算的に高コストな手法を回避し、1回の順方向伝搬のみで、行動科学から得られる主観的効用方程式といった既知の科学的モデルを高い正確性で回復する。

ABSTRACT

We consider the problem of learning free-form symbolic expressions from raw data, such as that produced by an experiment in any scientific domain. Accurate and interpretable models of scientific phenomena are the cornerstone of scientific research. Simple yet interpretable models, such as linear or logistic regression and decision trees often lack predictive accuracy. Alternatively, accurate blackbox models such as deep neural networks provide high predictive accuracy, but do not readily admit human understanding in a way that would enrich the scientific theory of the phenomenon. Many great breakthroughs in science revolve around the development of parsimonious equational models with high predictive accuracy, such as Newton's laws, universal gravitation, and Maxwell's equations. Previous work on automating the search of equational models from data combine domain-specific heuristics as well as computationally expensive techniques, such as genetic programming and Monte-Carlo search. We develop a deep neural network (MACSYMA) to address the symbolic regression problem as an end-to-end supervised learning problem. MACSYMA can generate symbolic expressions that describe a dataset. The computational complexity of the task is reduced to the feedforward computation of a neural network. We train our neural network on a synthetic dataset consisting of data tables of varying length and varying levels of noise, for which the neural network must learn to produce the correct symbolic expression token by token. Finally, we validate our technique by running on a public dataset from behavioral science.

研究の動機と目的

• rawな実験データから自由形式の記号的式を直接学習できるスケーラブルで微分可能な手法の開発。
• 遺伝的プログラミングやモンテカルロ探索といった従来の記号的回帰手法の計算的に非現実的な困難さを克服すること。
• 理論的開発や人間の理解を支援する、解釈可能で高精度な科学的モデルの提供。
• 明示的な文法制約や事後検証に依存せずに、ニューラルネットワークが文法的に正しい記号的式を生成できるようにすること。
• 行動科学のデータセット（プロスペクト理論をモデル化）を含む、実世界の科学的データに対して手法を検証すること。

提案手法

• MACSYMAは、データテーブルを直接記号的式にマッピングするエンドツーエンドの教師あり学習問題として記号的回帰を定式化する。
• モデルは長さやノイズレベルが異なる合成データセットで訓練され、1トークンずつ式を生成するように学習される。
• 現在のバージョンでは、再帰的または自己回帰的構造を含まない、順方向伝搬型のニューラルネットワークアーキテクチャが使用されている。
• ネットワークは、入力データテーブルにおける予測誤差を最小化する記号的式を予測するように訓練される。
• 文法的正しさを外部ルールで強制するのではなく、ネットワークが内部的に有効な構文を学習する能力に依存している。
• トレーニング後の推論は、反復的または探索ベースのデコードを避けるために、単一の順方向伝搬で実行される。

実験結果

リサーチクエスチョン

• RQ1 深層ニューラルネットワークは、rawなデータテーブルから正確で解釈可能な記号的式を直接生成できるか？
• RQ2 明示的な文法制約なしで、ニューラルネットワークが記号的式の文法的構造をどの程度学習できるか？
• RQ3 エンドツーエンドのニューラル記号的回帰の性能は、速度と正確性の観点で、従来のヒューリスティック的または探索ベースの手法と比べてどうか？
• RQ4 モデルは実世界の科学的データセットに一般化可能で、既知の理論的式を回復できるか？
• RQ5 モデルは可変長出力に対応可能であり、人間が関与するインタラクティブな式選択をサポートできるか？

主な発見

• MACSYMAは、行動科学のSEUデータセットから、よく知られた主観的効用方程式（SV_i = p_i * V_i^α）を回復し、理論に基づくモデルの発見能力を示した。
• トレーニング中における生成式のパースイング正確度は約80%に達しており、ネットワークが文法的に正しい記号的式を生成する能力を学習していることが示された。
• 推論プロセスは非常に効率的であり、反復的または探索ベースのデコードを必要とせず、単一の順方向伝搬で実行される。
• 遺伝的プログラミングやモンテカルロサンプリングといった計算コストの高い探索手順を排除することで、従来の記号的回帰手法よりも高速に性能を発揮する。
• モデルは長さやノイズレベルが異なるデータセットにも一般化可能であり、トレーニング分布内のデータ変動に対して強力であることが示された。
• 著者らは、固定された最大出力長という制限を特定し、今後の作業として再帰的アーキテクチャとビームサーチを用いた拡張を計画している。