[論文レビュー] A Survey on Techniques of Improving Generalization Ability of Genetic Programming Solutions

Vipul K. Dabhi, Sanjay Chaudhary|arXiv (Cornell University)|Nov 6, 2012

Evolutionary Algorithms and Applications参考文献 29被引用数 25

ひとこと要約

本調査は、一般化性能を向上させるための遺伝的プログラミング（GP）の手法を体系的にレビューし、過大化（bloat）と過学習（overfitting）——これらはモデル性能を損なう主な要因——に対処する。過大化制御手法、過学習軽減戦略、評価指標を分類し、実務家がGPソリューションの頑健性と一般化性能を向上させるために効果的なアプローチを選択するための比較フレームワークを提供する。

ABSTRACT

In the field of empirical modeling using Genetic Programming (GP), it is important to evolve solution with good generalization ability. Generalization ability of GP solutions get affected by two important issues: bloat and over-fitting. We surveyed and classified existing literature related to different techniques used by GP research community to deal with these issues. We also point out limitation of these techniques, if any. Moreover, the classification of different bloat control approaches and measures for bloat and over-fitting are also discussed. We believe that this work will be useful to GP practitioners in following ways: (i) to better understand concepts of generalization in GP (ii) comparing existing bloat and over-fitting control techniques and (iii) selecting appropriate approach to improve generalization ability of GP evolved solutions.

研究の動機と目的

• 遺伝的プログラミング（GP）において、ソリューションの一般化能力を向上させるために用いられる技術を特定および分類すること。
• 過大化と過学習がGPモデルのパフォーマンスおよび一般化に与える影響を分析すること。
• 過大化制御および過学習軽減戦略の有効性と限界を比較すること。
• 問題の文脈に基づいて適切な技術を選択できるように、GP実務家向けの包括的リファレンスを提供すること。
• 今後のGP一般化分野における研究を導くために、現在のアプローチにおけるギャップと限界を特定すること。

提案手法

• 過大化と過学習制御技術に焦点を当てたGP研究に関する体系的文献レビュー。
• 過大化制御手法を構造的、フィットネスに基づく、ハイブリッドの3つのアプローチに分類。
• 過学習軽減戦略を、訓練データの多様性、正則化、フィットネス関数の変更に分類。
• 過大化を測定する指標（例：木のサイズ、コード成長）と過学習を測定する指標（例：テスト誤差と訓練誤差の差）の分析。
• パフォーマンスと適用可能性に基づいて技術を評価するための比較フレームワークへの統合。
• 現在の技術の限界、例えば計算コストの高さや文脈依存的な有効性の欠如の特定。

実験結果

リサーチクエスチョン

• RQ1 遺伝的プログラミングのソリューションにおける一般化性能の低下の主な要因は何ですか？
• RQ2 過大化と過学習は、進化したGPモデルのパフォーマンスと頑健性をどのように劣化させますか？
• RQ3 GPで過大化と過学習を制御するために用いられる主な技術のカテゴリは何か？
• RQ4 異なる過大化および過学習制御技術は、有効性と計算コストの観点からどのように比較できますか？
• RQ5 現在のGP一般化の改善アプローチにおける限界と未解決の課題は何ですか？

主な発見

• 過大化と過学習は、GPソリューションの一般化能力を低下させる2大要因である。
• パラメータ圧力や外部フィットネスといったフィットネスに基づく過大化制御手法は、広く用いられ、コード成長の制限に効果的である。
• 過学習は、訓練データの多様性、フィットネス関数への正則化の組み込み、および早期停止によって最も効果的に軽減できる。
• テスト誤差や複雑さといった複数の評価指標を併用することで、一般化の評価がより頑健になる。
• さまざまな技術が存在するが、あらゆる問題領域において一貫して優れた性能を示す単一の手法は存在しないため、文脈に応じた選択が不可欠である。
• 現在のアプローチの限界には、高い計算コスト、パrameterチューニングへの感受性、多様なGP応用にわたる一般化の欠如が含まれる。