[論文レビュー] Interval Arithmetic and Interval-Aware Operators for Genetic Programming

Grant Dick|arXiv (Cornell University)|Apr 17, 2017

Evolutionary Algorithms and Applications参考文献 5被引用数 5

ひとこと要約

本稿では、区間算術を用いて進化中に無効な解が発生するのを防ぐ区間認識型遺伝的プログラミング演算子を提案する。これにより、探索効率と一般化性能が著しく向上する。従来の手法が評価に依存するのに対し、新しい演算子は交差や変異の段階で区間の有効性を強制することで、無効な子孫の発生を低減し、高パフォーマンスなモデルへの収束を早める。

ABSTRACT

Symbolic regression via genetic programming is a flexible approach to machine learning that does not require up-front specification of model structure. However, traditional approaches to symbolic regression require the use of protected operators, which can lead to perverse model characteristics and poor generalisation. In this paper, we revisit interval arithmetic as one possible solution to allow genetic programming to perform regression using unprotected operators. Using standard benchmarks, we show that using interval arithmetic within model evaluation does not prevent invalid solutions from entering the population, meaning that search performance remains compromised. We extend the basic interval arithmetic concept with `safe' search operators that integrate interval information into their process, thereby greatly reducing the number of invalid solutions produced during search. The resulting algorithms are able to more effectively identify good models that generalise well to unseen data. We conclude with an analysis of the sensitivity of interval arithmetic-based operators with respect to the accuracy of the supplied input feature intervals.

研究の動機と目的

• 保護されていない演算子が進化中に無効な結果を生成する可能性がある、従来の遺伝的プログラミング（GP）の限界を是正すること。
• 区間算術が評価のためのものであるだけでなく、探索中の安全な演算適用をガイドする動的メカニズムとして利用可能かどうかを調査すること。
• 遺伝的演算の全過程で区間の有効性を保つ新しい探索演算子を開発し、集団内の無効な個体の数を削減すること。
• 区間算術ベースのGPが、特に訓練データから導かれる区間の精度にどの程度感度を示すかを評価すること。
• 区間算術を意味的またはアフィン算術の手法と組み合わせることで、モデルの発見と単純化がどのように向上するかを探索すること。

提案手法

• 演算子の適用がすべての入力区間で有効な結果を生じるかどうかを事前に判定する静的解析手法として、区間算術を導入する。
• 交差や変異の段階で区間の有効性をチェックし、無効な組み合わせを拒否または修復する、新しい区間認識型交差および変異演算子を提案する。
• 各部分木の出力範囲を計算するために区間算術を用い、除算や対数などの演算が未定義の区間を生じないよう保証する。
• 式木を介した区間伝播を用いて、評価の前段階で無効な演算を検出し、集団の有効性を維持する。
• モデル評価および演算子生成の段階で区間算術を適用し、区間制約を探索プロセスに直接統合する。
• 訓練データから導かれる入力特徴の区間の精度を変化させることで、区間推定の質が与える影響を評価する。

実験結果

リサーチクエスチョン

• RQ1 区間算術は、評価の分野にとどまらず、遺伝的演算の段階で無効な解を防ぐ動的制約としても効果的に利用可能か？
• RQ2 区間認識型演算子は、従来の保護付き演算子と比較して、探索効率および一般化性能においてどのように異なるか？
• RQ3 区間算術ベースのGPの性能は、入力区間推定の精度にどの程度感度を示すか？
• RQ4 入力区間が不完全に推定されていても、区間算術ベースの演算子は一般化性能の高いモデルを進化させられるか？
• RQ5 区間認識型演算子を用いた場合と、標準的または保護付き演算子を用いた場合とで、進化したモデルの構造的差異は何か？

主な発見

• 評価段階でのみ区間算術を用いる場合、標準的な交差や変異が頻繁に無効な子孫を生成するため、集団に無効な解が入り込むのを防げない。
• 区間認識型演算子は、遺伝的演算の段階で区間の有効性を強制することで、無効な個体の数を著しく削減し、収束を早める。
• 新しい区間認識型演算子は、Pagie-1 や Keijzer-10 といったベンチマーク問題において、保護付き演算子と同等の一般化性能を達成する。
• 区間算術ベースのGPの性能は、入力区間推定の精度に強く依存しており、実際のデータと一致しない区間推定では一般化能力が低下する。
• 理論的にゼロ除算や未定義の演算のリスクがあるにもかかわらず、区間認識型演算子は問題を避ける代替表現を効果的に進化させた。
• 区間算術の統合により探索の地形が変化し、除算のような演算が使用されにくくなる傾向が示され、進化したモデル構造に変化が生じた。