[論文レビュー] Using Shape Constraints for Improving Symbolic Regression Models

Christian Haider, Fabrício Olivetti de França+2 more|arXiv (Cornell University)|Jul 20, 2021

Evolutionary Algorithms and Applications参考文献 35被引用数 4

ひとこと要約

本稿では、区間代数を用いて制約を厳密に検証する形状制約（単調性、凸性、非負性など）を遺伝的プログラミングに統合した多目的記号回帰手法を提案する。NSGA-IIおよびMOEA/Dを用い、制約違反に対してソフトペナルティを適用することで、モデルの信頼性と外挿性能が向上し、特に高ノイズ条件下でも有効であるが、単目的手法との間に統計的に有意な性能向上は確認されなかった。

ABSTRACT

We describe and analyze algorithms for shape-constrained symbolic regression, which allows the inclusion of prior knowledge about the shape of the regression function. This is relevant in many areas of engineering -- in particular whenever a data-driven model obtained from measurements must have certain properties (e.g. positivity, monotonicity or convexity/concavity). We implement shape constraints using a soft-penalty approach which uses multi-objective algorithms to minimize constraint violations and training error. We use the non-dominated sorting genetic algorithm (NSGA-II) as well as the multi-objective evolutionary algorithm based on decomposition (MOEA/D). We use a set of models from physics textbooks to test the algorithms and compare against earlier results with single-objective algorithms. The results show that all algorithms are able to find models which conform to all shape constraints. Using shape constraints helps to improve extrapolation behavior of the models.

研究の動機と目的

• 物理法則を反映するように、分野固有の形状制約（例：単調性、凸性）を記号回帰に組み込むことで、モデルの信頼性を向上させること。
• 形状制約が一般化性能および外挿性能を向上させるかどうかを検証すること、特にノイズの多いデータ環境下での有効性を評価すること。
• 多目的進化的アルゴリズム（NSGA-II、MOEA/D）が、モデルの精度と制約適合性のトレードオフをどのように処理するかを、単目的手法と比較して評価すること。
• 区間代数を用いた厳密な検証のもと、ソフトペナルティ機構が制約違反と全体的なモデル品質に与える影響を評価すること。

提案手法

• 形状制約は、入力領域上で1階および2階偏微分（例：∂f/∂xi ≥ 0 で非減少性を表す）を用いて数学的に表現される。
• 制約の妥当性は、微分の厳密な境界を計算することで区間代数を用いて評価され、形状特性の保守的（楽観的でない）検証が保証される。
• ソフトペナルティアプローチにより、制約付き記号回帰問題が、訓練誤差（NMSE）と制約違反ペナルティの両方を最小化する多目的最適化問題に変換される。
• NSGA-IIおよびMOEA/Dという多目的アルゴリズムを用いて、精度と制約適合性のバランスを取るパレート最適解の集合を進化させる。
• 最終的なモデルは、パレート最適解集合からNMSEが最も良いものを選択することで、不適切な解を過剰に早期に除外することなくトレードオフ分析が可能になる。
• 教科書に掲載された物理的背景を持つ記号回帰問題を対象とし、ノイズレベルを体系的に変化させて耐性評価が行われる。

実験結果

リサーチクエスチョン

• RQ1 ノイズの多い学習データ下で、形状制約を組み込んだ多目的記号回帰は、モデルの信頼性と外挿性能を向上させることができるか？
• RQ2 NSGA-IIおよびMOEA/Dは、単目的アルゴリズムと比較して、記号回帰における精度と制約適合性のバランスをどのように処理するか？
• RQ3 形状制約の導入により、外挿性能（テストデータ上での性能）に統計的に有意な向上が得られるか？
• RQ4 制約検証手法の選択（楽観的サンプリング対比して楽観的でない区間代数）が、スケーラビリティおよび解の品質に与える影響はいかほどか？

主な発見

• NSGA-II、MOEA/D、および単目的バージョンを含む全テストアルゴリズムが、指定されたすべての形状制約を満たすモデルを正常に生成した。
• 外挿性能の順位付けにおいて、NSGA-IIが最も高い平均順位を記録したが、特に100％ノイズ条件下で顕著であり、単目的手法との間に統計的に有意な差は認められなかった。
• 形状制約の導入が、すべての問題インスタンスにおいて一貫した統計的有意な性能向上をもたらしたとは限らず、1つのインスタンスでは制約導入により外挿性能が著しく向上した。
• 区間代数による制約チェックの計算コストは低く抑えられており、微分計算が主な追加コストであったが、低次元問題では管理可能な範囲にとどまった。
• 多目的アプローチにより、精度と制約違反のトレードオフの探索が可能となり、最適解が1つに限定されない多様で妥当な解の集合が得られた。
• 本手法は、ハイパーパrameterチューニングにグリッドサーチを要する決定的形状制約付き多項式回帰よりも、記号回帰タスクで優れた性能を示した。