[論文レビュー] Symbolic Regression is NP-hard

Marco Virgolin, Solon P. Pissis|arXiv (Cornell University)|Jul 3, 2022

Evolutionary Algorithms and Applications被引用数 26

ひとこと要約

この論文は、symbolic regression (SR) がNP-hardであることを、unbounded subset sum problemをSRの決定版へ還元することによって証明する。 また、定数が分布からサンプリングされる場合でもNP-hard性が持続することを示している。

ABSTRACT

Symbolic regression (SR) is the task of learning a model of data in the form of a mathematical expression. By their nature, SR models have the potential to be accurate and human-interpretable at the same time. Unfortunately, finding such models, i.e., performing SR, appears to be a computationally intensive task. Historically, SR has been tackled with heuristics such as greedy or genetic algorithms and, while some works have hinted at the possible hardness of SR, no proof has yet been given that SR is, in fact, NP-hard. This begs the question: Is there an exact polynomial-time algorithm to compute SR models? We provide evidence suggesting that the answer is probably negative by showing that SR is NP-hard.

研究の動機と目的

• SR問題とその探索空間を、関数の合成と原始集合を用いて形式化する。
• USSP-Decからの多項式時間還元によって、SRに対する厳密なNP-hard性の証明を提供する。
• 定数がサンプリング分布から許容される場合でもSRがNP-hardのままであるかを検討する。
• 難易度結果における損失、計算時間、および非再帰的SR関数に関する仮定を明確にする。

提案手法

• 原始集合Pと、合成関数からなる誘導探索空間Fを用いてSRを定義する。
• 多項式時間で計算可能なf(x)とL(y,f(x))を用いて、F上の損失Lを最小化する形でSRを定式化する。
• SR-DecがNPに属することを示し、USSP-DecをSR-Decに還元してNP-hardを証明する。
• 構成を変更することにより、定数がP内でRからサンプリングされる場合でもNP-hard性を示すCorollary 1を提供する。
• USSPを鏡像化するため、単一の観測からなる還元インスタンスを構築する（定数が許される場合には後に観測を2つにする）。

実験結果

リサーチクエスチョン

• RQ1 一般に、symbolic regressionはNP-hardですか？
• RQ2 原始集合に定数サンプリング分布を含める必要がある場合、SRはNP-hardのままですか？
• RQ3 SR-Decは多項式還元を通じてunbounded subset sum problemを捉えることができますか？

主な発見

• SRはNP-hardであることを、USSP-DecをSR-Decへ多項式時間還元することによって証明。
• SR-DecはNPに属する。なぜならFとLの評価が多項式時間で行えるから。
• 原始集合が定数をサンプルする機構を含む必要がある場合でもNP-hard性は成り立つ（Corollary 1）。
• この還元は、特徴の線形和とゼロ損失閾値（epsilon）を用いた制限付きSRインスタンスを用いてUSSP-Decを鏡像化する。
• 証明は、多項式時間のSRソルバがSR-Decを解くと仮定すればUSSP-Decも解くことになるという反証法を概説する。