[論文レビュー] A divide and conquer method for symbolic regression

Changtong Luo, Chen Chen+1 more|arXiv (Cornell University)|May 23, 2017

Evolutionary Algorithms and Applications参考文献 10被引用数 9

ひとこと要約

本論文は、関数の分離性を活用することで遺伝的プログラミング（GP）の高速化を図る分割統治（D&C）手法を提案する。新規の二重相関検定（BiCT）を用いて分離可能な部分関数を同定することで、複雑な目的関数をより単純な成分に分解し、収束を著しく高速化する。実世界の応用においては、一般性を損なわずに計算時間を桁違いに短縮している。

ABSTRACT

Symbolic regression aims to find a function that best explains the relationship between independent variables and the objective value based on a given set of sample data. Genetic programming (GP) is usually considered as an appropriate method for the problem since it can optimize functional structure and coefficients simultaneously. However, the convergence speed of GP might be too slow for large scale problems that involve a large number of variables. Fortunately, in many applications, the target function is separable or partially separable. This feature motivated us to develop a new method, divide and conquer (D&C), for symbolic regression, in which the target function is divided into a number of sub-functions and the sub-functions are then determined by any of a GP algorithm. The separability is probed by a new proposed technique, Bi-Correlation test (BiCT). D&C powered GP has been tested on some real-world applications, and the study shows that D&C can help GP to get the target function much more rapidly.

研究の動機と目的

• 多数の変数を含む大規模な記号的回帰問題における遺伝的プログラミング（GP）の収束が遅いという問題に取り組む。
• 現実世界の関数に共通する構造的特徴、すなわち分離性または部分的分離性を活用して最適化の効率を向上させる。
• 複雑な関数を部分関数に分解し、それらを独立してGPで最適化するための体系的な手法を開発する。
• 部分関数の分解に適した変数グループを同定するための新しい分離性検出技術、二重相関検定（BiCT）を導入する。
• D&Cアプローチが一般性を維持しながらも、記号的回帰における計算コストを著しく削減できることを示す。

提案手法

• 検出された分離性に基づいて目的関数を部分関数に分解し、各部分関数をGPによって独立して処理する。
• 部分関数の変数集合が目的関数内で分離可能または部分的に分離可能であるかどうかを検出するための新規技術、二重相関検定（BiCT）を提案する。
• 部分関数は、整数文字列をプログラムの表現に用いることで効率的な探索が可能なGPの亜種、Parse-Matrix Evolution（PME）を用いて最適化する。
• 最適化された部分関数から全体のモデルを再構築し、計算コストは複雑性モデル（式15）を用いて推定する。
• 分離性は、変数の互いに素な部分集合上で定義された部分関数の合成として関数を表現する数学的定式化によって定義される。
• ガス力学分野の実世界の式を用いて、本手法の効率性と正確性を検証した。

実験結果

リサーチクエスチョン

• RQ1 記号的回帰問題において関数の分離性を信頼性高く検出できるか。これにより効率的な分解が可能になるか。
• RQ2 目的関数が分離可能な部分関数に分解された場合、記号的回帰の収束はどの程度速くなるか。
• RQ3 分割統治アプローチは、計算コストを著しく削減する一方で、記号的回帰の一般性を保持できるか。
• RQ4 二重相関検定（BiCT）は、従来の手法に比べて、分離可能な変数グループをどの程度優れて同定できるか。
• RQ5 D&C手法は、標準GPに比べて、実世界の工学的データから正確または近似の記号的式をより効率的に回復できるか。

主な発見

• 2変数の記号的回帰問題（式1）において、D&C手法によりCPU時間は12分26秒から11.2秒に短縮され、約67倍の高速化が達成された。
• 5変数の問題（式2）では、D&Cアプローチが18.3秒で完了した一方で、D&Cなしでは85分43秒を要し、280倍以上の高速化が達成された。
• 二重相関検定（BiCT）は、両テストケースにおいて分離可能な変数グループを正確に同定し、正確な分解を可能にした。
• 標準GPが正確な記号的形を回復できなかった場合でも、D&C手法は倍精度で適合誤差がゼロ（1−R²=0.0）のモデルを一貫して生成した。
• D&C手法の計算複雑性はO(10⁷)と推定され、全GPアプローチのO(10¹⁰)に比べて著しく低く、桁違いの改善が確認された。
• 本手法は高い正確性と一般性を維持しており、非線形的かつ非分離的な組み合わせを含む両テストケースにおいても、正確な記号的形を回復した。