[論文レビュー] Interpretable Symbolic Regression for Data Science: Analysis of the 2022 Competition

Fabrício Olivetti de França, M. Virgolin+22 more|arXiv (Cornell University)|Apr 3, 2023

Evolutionary Algorithms and Applications被引用数 8

ひとこと要約

この論文は2022 GECCO 解釈可能シンボリック回帰コンペティションを分析し、合成データおよび実世界データのトラック、結果、課題を評価してSR benchmarksの進展を図る。

ABSTRACT

Symbolic regression searches for analytic expressions that accurately describe studied phenomena. The main attraction of this approach is that it returns an interpretable model that can be insightful to users. Historically, the majority of algorithms for symbolic regression have been based on evolutionary algorithms. However, there has been a recent surge of new proposals that instead utilize approaches such as enumeration algorithms, mixed linear integer programming, neural networks, and Bayesian optimization. In order to assess how well these new approaches behave on a set of common challenges often faced in real-world data, we hosted a competition at the 2022 Genetic and Evolutionary Computation Conference consisting of different synthetic and real-world datasets which were blind to entrants. For the real-world track, we assessed interpretability in a realistic way by using a domain expert to judge the trustworthiness of candidate models.We present an in-depth analysis of the results obtained in this competition, discuss current challenges of symbolic regression algorithms and highlight possible improvements for future competitions.

研究の動機と目的

• 現代のシンボリック回帰（SR）手法が精度以外の現実データの課題にどのように適合するかを評価する。
• 合成データと実世界データの両トラックを、解釈性と信頼を含む多基準評価で検討する。
• 現在の制約を特定し、今後のSR競技会とベンチマークの改善を提案する。
• 実務での精度、単純さ、解釈可能性のバランスを異なるSRアプローチがどのように取るかを分析する。

提案手法

• 予備選と2つの合成トラック、領域専門家による実世界トラックを含む競技設計を説明する。
• R2、単純さ、タスク固有スコアを基にした多基準ランキングをハーモニック平均で集約する。
• 再発見、特徴選択、局所最適解回避、外挿、ノイズ感度などのタスクを生成関数とノイズモデルを用いて事前定義する。
• COVID-19指標を予測するモデルの専門家信頼スコアを用いて実世界の解釈可能性を評価する。
• 小規模データセットは1時間、大規模データセットは10時間の固定時間予算の下でGP、DL、混合アプローチを含む11件の提出物をベンチマークする。
• 方法間の有意性を評価する統計分析（例：Nemenyi検定）を報告する。

実験結果

リサーチクエスチョン

• RQ1 ノイズ、特徴量の関連性、局所最適解、外挿などの課題に対して、さまざまなSR手法はどのように性能を示すか？
• RQ2 SRアプローチは難易度の異なるレベルで正確な生成式を再現できるか？
• RQ3 実世界のタスクにおける解釈可能性（専門家の信頼）はモデル評価にどのような影響を与えるか？
• RQ4 現在のSRベンチマークと競技設計の強みと限界は何か？
• RQ5 トラック間で精度、単純さ、解釈可能性のバランスが優れている手法はどれか？

主な発見

• QLattice、pysr、uDSRは合成基準全体で高順位になりやすいが、すべてのタスクで単一の勝者はいない。
• 多くのアルゴリズムは容易なタスクで高いR2を達成する一方、難易度が高い場合の正確な再発見や外挿には苦戦する。
• 実世界の解釈可能性は精度と単純さだけでなく専門家の信頼にも依存し、最終的な順位に影響を与える。
• 特徴選択タスクではSRモデルが無関係な特徴を用いることや、結果を改善するための前処理（例：特徴選択）が必要であるケースが多い。
• ノイズレベルは精度と単純さの両方を劣化させるが、難易度の異なるタスク間でロバスト性を保つ手法も存在する。
• 複数の手法が同等の性能を示す領域が顕著に重なっており、SRの最先端と呼べる単一のアプローチはまだ確立されていない。