[論文レビュー] An Approach to Symbolic Regression Using Feyn

Kevin René Broløs, Meera Vieira Machado+6 more|arXiv (Cornell University)|Apr 12, 2021

Computational Physics and Python Applications被引用数 36

ひとこと要約

本論文は、QLattice を用いたシンボリック回帰のための Python ツール Feyn を紹介し、解釈可能なグラフベースのモデルの構築方法と仮説主導のデータ発見を指導する様子を示し、乳がんデータセットで実証する。

ABSTRACT

In this article we introduce the supervised machine learning tool called Feyn. The simulation engine that powers this tool is called the QLattice. The QLattice is a supervised machine learning tool inspired by Richard Feynman's path integral formulation, that explores many potential models that solves a given problem. It formulates these models as graphs that can be interpreted as mathematical equations, allowing the user to completely decide on the trade-off between interpretability, complexity and model performance. We touch briefly upon the inner workings of the QLattice, and show how to apply the python package, Feyn, to scientific problems. We show how it differs from traditional machine learning approaches, what it has in common with them, as well as some of its commonalities with symbolic regression. We describe the benefits of this approach as opposed to black box models. To illustrate this, we go through an investigative workflow using a basic data set and show how the QLattice can help you reason about the relationships between your features and do data discovery.

研究の動機と目的

• 監督付き機械学習ツールの Feyn とその symbolic regression 向けの QLattice エンジンを紹介する。
• QLattice がグラフベースの数理モデルを生成・改良・解釈する方法を説明する。
• 実データセットを用いた仮説生成と検証の実践的なワークフローを示す。

提案手法

• QLattice は有限ラティス内の離散パスをシミュレートし、入力と出力を結ぶ道筋を、強化された最良のパスに導かれて作成する。
• モデルは、加算、乗算、対数、指数、tanh、Gaussian などの相互作用（関数）を含む一方向性非巡回グラフ（QGraphs）として表現される。
• Feyn は自動特徴エンコーディングを提供し、正規化やワンホットエンコーディングは不要で、得られた方程式の解釈性を保つ。
• トレーニングループは何千ものグラフをデータに適合させ、最良を選択し、役立つ解へ収束するようラティスを更新する。
• 意味論的型（Numerical、Categorical）が自動エンコーディングとグラフ構築を導く。
• ユーザーは探索領域（問題タイプ、特徴、深さ）を制約し、探索を集中させ、解釈性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 QL lattice を介したシンボリック回帰は、与えられたデータの問いに対してどのように解釈可能なモデルを生み出すことができるか？
• RQ2 QGraph の仮説を通じて特徴量間のどのような関係を発見でき、これらがターゲット変数とどう関連するか？
• RQ3 QLattice の探索空間を制約することは、モデルの解釈性と予測有用性にどう影響するか？
• RQ4 QLattice が生成した仮説は、解釈性を維持しつつ未見データ（ホールドアウト集合）に一般化できるか？
• RQ5 Feyn を用いた仮説の形成・洗練・検証を最も効果的に促進するワークフローは何か？

主な発見

• QLattice は、数式として検査・解釈可能な、管理可能なグラフベースの仮説集合を生成する。
• グラフの深さを制限し特定の特徴を含めることで、解釈可能なモデルを導出でき、科学的推論を支援する。
• このアプローチは視覚化（ROC 曲線、確率スコア、部分依存性）を可能にし、仮説の性能評価と過剰適合の特定を助ける。
• 選択された仮説はホールドアウトデータに一般化でき、Feyn を用いたシンボリック回帰が堅牢で説明可能なモデルを生むという主張を支持する。
• このワークフローは仮説主導の探索と反復的な洗練を強調し、純粋な予測精度の最大化だけでなく科学的方法論と一致する。