[論文レビュー] Interpretable Scientific Discovery with Symbolic Regression: A Review

Nour Makke, Sanjay Chawla|arXiv (Cornell University)|Nov 20, 2022

Evolutionary Algorithms and Applications被引用数 6

ひとこと要約

この論文は、データから直接解釈可能で人間が読める数学的式を発見する手法としての記号的回帰（SR）をレビューし、従来の遺伝的プログラミングと、トランスフォーマーおよび強化学習を含む現代のディープラーニング手法を比較している。深層学習に基づくSR手法は合成データにおいて優れた性能を発揮しているが、数学的演算のライブラリが限定されている場合や、ドメイン固有の知識が組み込まれていない場合には、複雑な式の回復に課題が残っていることが明らかになった。

ABSTRACT

Symbolic regression is emerging as a promising machine learning method for learning succinct underlying interpretable mathematical expressions directly from data. Whereas it has been traditionally tackled with genetic programming, it has recently gained a growing interest in deep learning as a data-driven model discovery method, achieving significant advances in various application domains ranging from fundamental to applied sciences. This survey presents a structured and comprehensive overview of symbolic regression methods and discusses their strengths and limitations.

研究の動機と目的

• 科学的発見のための記号的回帰（SR）手法について、体系的かつ包括的な概説を提供すること。
• 遺伝的プログラミング、ディープラーニング、強化学習を含むさまざまなSRアプローチの長所と短所を分析すること。
• 合成データおよび実世界のデータセットにおけるSR手法の性能を評価すること、特に既知の物理法則の回復に焦点を当てる。
• SRにおける主な課題、たとえばライブラリに含まれる数学的演算の選択への感受性や、ディープラーニングベース手法における数値的不安定性を特定すること。
• 物理学分野における実験データへのSRのより広範な応用を提唱し、科学的発見とモデルの解釈可能性を進める。

提案手法

• 記号的回帰は、観測されたデータに最もよく適合する数学的式の探索問題として定式化され、事前に定義された数学的演算および関数のセットを用いる。
• 従来のアプローチでは、遺伝的プログラミング（GP）を用いて、選択、交差、変異を経てシンボリック式の木構造を進化させる。
• 現代の手法では、特にトランスフォーマーを活用して、入力変数から出力式へのシーケンス・ツー・シーケンスのマッピングをモデル化することで、記号的式を生成する。
• 強化学習は、予測精度に基づく報酬信号を最大化するように最適化されるエージェントを訓練することで、数学的式の探索空間を探索するのにも応用されている。
• 線形記号的回帰は、事前に定義された特徴の線形結合に制限されたベースラインとして用いられ、非線形関係を捉える能力に制限がある。
• 性能は、NguyenおよびLivermore式といったベンチマークデータセットを用いて評価され、異なるライブラリおよび手法における回復率が報告されている。

実験結果

リサーチクエスチョン

• RQ1 遺伝的プログラミング、ディープラーニング、強化学習を含むさまざまな記号的回帰手法は、正確性と解釈可能性の観点でどのように比較できるか？
• RQ2 SR手法は、合成データおよび実データから既知の物理法則をどの程度回復できるか？
• RQ3 ライブラリの数学的演算の選択が、SRモデルの性能と一般化能力にどのように影響するか？
• RQ4 現在のSR手法における主な限界、特に複雑な非線形式の処理における限界は何か？
• RQ5 記号的回帰は、物理学における実験データに効果的に応用可能か、科学的発見を可能にするか？

主な発見

• 特にトランスフォーマーに基づく深層学習ベースの記号的回帰手法は、合成ベンチマークにおいて従来の遺伝的プログラミングおよび線形手法を上回り、複雑な式の回復率が高くなっている。
• NGPPS手法は、一般演算ライブラリを用いてNguyen-12式（f(x,y) = x⁴ − x³ + y²/2 − y）を回復できず、純粋な多項式ベースでも回復率はたったの3%にとどまった。
• 定義域を[0,10]に拡張した場合、Nguyen-12⋆の回復率はわずかに12%に向上したが、これはより広いデータ範囲が発見を支援する可能性を示唆しているものの、成功を保証するものではない。
• 性能は数学的演算のライブラリに強く依存しており、三角関数や指数関数などのドメイン固有の関数を含めることで、周期的または非線形現象の回復が著しく向上する。
• 線形記号的回帰は、事前に定義されたモデル構造に制限されており、真の関数が非線形であっても、複雑な非線形関係を捉えることはできない。
• 顕著な進展にもかかわらず、記号的回帰は比較的単純な式に対しても依然として困難を抱えており、現在の手法が広範な実世界の科学的応用に十分に頑健ではないことが示唆された。