[論文レビュー] Improved Neural Modeling of Real-World Systems Using Genetic Algorithm Based Variable Selection

Donald Sofge, David L. Elliott|ArXiv.org|Jun 7, 2007

Fault Detection and Control Systems参考文献 10被引用数 6

ひとこと要約

本稿では、不完全またはノイズが多いセンサデータを伴う現実世界のシステムのニューラルネットワークモデリングを改善するため、遺伝的アルゴリズム（GA）に基づく変数選択手法を提案する。入力変数のサブセットを最適化することで、モデルの精度とロバスト性が向上し、顕著な性能向上が液体給餌セラミック溶融炉の応用において示された。

ABSTRACT

Neural network models of real-world systems, such as industrial processes, made from sensor data must often rely on incomplete data. System states may not all be known, sensor data may be biased or noisy, and it is not often known which sensor data may be useful for predictive modelling. Genetic algorithms may be used to help to address this problem by determining the near optimal subset of sensor variables most appropriate to produce good models. This paper describes the use of genetic search to optimize variable selection to determine inputs into the neural network model. We discuss genetic algorithm implementation issues including data representation types and genetic operators such as crossover and mutation. We present the use of this technique for neural network modelling of a typical industrial application, a liquid fed ceramic melter, and detail the results of the genetic search to optimize the neural network model for this application.

研究の動機と目的

• センサデータが不完全、ノイズが多い、またはバイアスを含む状況下で、ニューラルネットワークモデルの最適な入力変数を選択する課題に対処すること。
• 複雑な産業システムにおいて、予測モデリングに意味的に寄与するセンサ変数を特定する困難さを克服すること。
• 進化的計算を用いて最も関連性の高い入力変数を同定することで、ニューラルネットワークモデルの精度とロバスト性を向上させること。
• 遺伝的アルゴリズムが、現実世界の産業応用における入力選択を最適化する上で有効であることを実証すること。
• 過学習を低減し、一般化性能を向上させるための、体系的な変数選択フレームワークを提供すること。

提案手法

• 各ビットがセンサ変数の含める（1）または除外する（0）を示すバイナリ文字列として、候補となる変数サブセットを表現する。
• これらのバイナリ文字列に対して、交叉と変異という遺伝的演算子を適用し、可能な変数組み合わせの探索空間を探索する。
• ニューラルネットワークの予測性能（例：平均二乗誤差）に基づくフィットネス関数を用いて、各変数サブセットを評価する。
• 選択、交叉、変異を繰り返し適用することで、パopulationの変数サブセットを段階的に進化させ、優れた性能を示す構成に収束させる。
• 選択された変数サブセットを用いてニューラルネットワークを訓練および検証し、予測精度を評価する。
• GA最適化による変数選択プロセスを、産業システム向けの完全なモデリングパイプラインに統合する。

実験結果

リサーチクエスチョン

• RQ1 遺伝的アルゴリズムベースの変数選択は、不完全なセンサデータを伴う現実世界の産業システムにおけるニューラルネットワークモデルの予測精度を向上させることができるか？
• RQ2 液体給餌セラミック溶融炉の予測において、どのセンサ変数サブセットが最も高いニューラルネットワーク予測精度を達成するか？
• RQ3 すべての利用可能な入力変数を用いた標準的なニューラルネットワークモデリングと比較して、GAベースの変数選択はどのように異なるか？
• RQ4 ノイズやバイアスを含むセンサデータの下で、変数選択がモデルのロバスト性と一般化性能に与える影響は何か？
• RQ5 この応用において、遺伝的アルゴリズムのパrameter（例：集団サイズ、突然変異率）の最適な設定は何か？

主な発見

• 遺伝的アルゴリズムは、利用可能なすべての入力変数を使用するモデルと比較して、顕著に高い予測精度を示す、縮小されたセンサ変数サブセットを効果的に同定した。
• 最適化されたモデルは、検証データにおいてより低い平均二乗誤差を達成し、予測性能の向上が裏付けられた。
• この手法は、関連性のないまたはノイズの多い変数を効果的に除外し、過学習を低減し、一般化性能を向上させた。
• 複数回の実行においても、選択された変数サブセットは安定しており、最適化プロセスのロバスト性を示した。
• 不完全でノイズの多いセンサデータの処理において、本手法は有効であることが確認され、現実世界の産業応用に適していることが示された。
• 変数選択を遺伝的アルゴリズムで行うことは、複雑なシステムにおけるニューラルネットワークモデリングを強化するための実用的で効果的な戦略であると確認された。