[論文レビュー] GP-RVM: Genetic Programing-based Symbolic Regression Using Relevance Vector Machine

Hossein Izadi Rad, Feng Ji+1 more|arXiv (Cornell University)|Jun 7, 2018

Evolutionary Algorithms and Applications参考文献 21被引用数 14

ひとこと要約

本稿では、Kaizen ProgrammingとRelevance Vector Machine (RVM)を組み合わせることで、スパースで解釈可能な非線形モデルを進化させるハイブリッドな記号回帰手法GP-RVMを提案する。進化した個体から得られる基本関数を選択・重み付けするためにRVMを用いることで、従来のGPやKPに比べて高い精度と頑健性を達成し、収束が速く関数評価回数も削減される。

ABSTRACT

This paper proposes a hybrid basis function construction method (GP-RVM) for Symbolic Regression problem, which combines an extended version of Genetic Programming called Kaizen Programming and Relevance Vector Machine to evolve an optimal set of basis functions. Different from traditional evolutionary algorithms where a single individual is a complete solution, our method proposes a solution based on linear combination of basis functions built from individuals during the evolving process. RVM which is a sparse Bayesian kernel method selects suitable functions to constitute the basis. RVM determines the posterior weight of a function by evaluating its quality and sparsity. The solution produced by GP-RVM is a sparse Bayesian linear model of the coefficients of many non-linear functions. Our hybrid approach is focused on nonlinear white-box models selecting the right combination of functions to build robust predictions without prior knowledge about data. Experimental results show that GP-RVM outperforms conventional methods, which suggest that it is an efficient and accurate technique for solving SR. The computational complexity of GP-RVM scales in $O( M^{3})$, where $M$ is the number of functions in the basis set and is typically much smaller than the number $N$ of training patterns.

研究の動機と目的

• 従来の遺伝的プログラミング(GP)における記号回帰の限界、すなわちボイド化、収束が遅い、非決定的探索の問題を解決すること。
• Kaizen Programming(KP)の欠点、例えばp値のしきい値依存性や線形モデルにおける特異性の問題を克服すること。
• 最小限の事前知識で済み、決定的かつスパースで頑健な記号回帰フレームワークを構築し、モデルの解釈可能性を保証すること。
• GPベースの進化的フレームワーク内にRVMを統合し、特徴選択とモデル推定のメカニズムとして機能させることで、モデルの精度と効率を向上させること。

提案手法

• 本手法は、拡張されたKaizen Programming(KP)を用いて、基本関数としての記号的式の集団を生成・進化させる。
• 単一の個体を完全な解と見なすのではなく、GP-RVMは進化した個体から選択された基本関数の線形結合として最終モデルを構築する。
• 関連ベクターマシン(RVM)、つまりスパースなベイズ的カーネル法を用いて、予測精度とスパarsityに基づいて基本関数の事後重みを決定する。
• RVMフレームワークは、モデル係数におけるスパarsityを促進するベイズ的事前分布を用いることで、特徴の重複や特異性の問題を自動で処理する。
• RVM学習の計算複雑度を低下させるために、逐次的スパースベイズ学習アルゴリズムを実装し、計算複雑度をO(M³)にまで削減する。ここでMは基本関数の数である。
• 仮説検定を回避するため、NHSTに基づく特徴選択に代えてRVMの内蔵されたモデル選択機構を採用し、有意水準のしきい値を設定する必要性を排除する。

実験結果

リサーチクエスチョン

• RQ1 Kaizen ProgrammingとRVMを組み合わせたハイブリッド手法が、標準的なGPやKPに比べて記号回帰の精度と収束速度で優れているかどうか。
• RQ2 KPにおけるNHSTベースの特徴選択をRVMベースのベイズ的モデル選択に置き換えることで、しきい値チューニングの必要性がなくなり、特異性の問題が解消されるかどうか。
• RQ3 RVMが誘発するスパarsityが、ベンチマーク記号回帰タスクにおけるモデルの解釈可能性と一般化性能をどの程度向上させるか。
• RQ4 限られた関数評価回数で複雑な非線形記号回帰問題を解く際、GP-RVMは頑健性と効率性においてどのように他の手法と比較されるか。

主な発見

• Keijzer関数（keijzer 2および3）において、GP-RVMは最高のフィットネス値を達成し、KPとは5勝、GPとは2勝の同着を記録し、複雑な問題において優れた性能を示した。
• Keijzer関数において、GP-RVMはGPやKPよりも顕著に少ない関数評価回数（NFE）を要した。特に複雑なターゲットでは、収束が速いことが示された。
• Nguyenベンチマークスイート（F1–F10）では、GP-RVMは曲線適合で100％の成功を記録し、KPと同等の性能を維持しながら、低RMSEと少ない目的関数評価回数を達成した。
• テスト結果から、複数の関数（keijzer 1, 2, 3, 7, 8, 9）において、GP-RVMの最大誤差はKPを下回っており、未学習データに対するより高い頑健性を示した。
• 6つのKeijzer関数について、GP-RVMの中央値フィットネスは0.99以上であったのに対し、KPは5つ、GP（50および500の集団サイズ）は4つであった。これは、より優れたモデル品質を示している。
• 計算複雑度はM（基本関数の数）のO(M³)に比例するが、Mは通常訓練サンプル数Nよりもはるかに小さいため、効率的であることが保証される。