[논문 리뷰] Improved Neural Modeling of Real-World Systems Using Genetic Algorithm Based Variable Selection

Donald Sofge, David L. Elliott|ArXiv.org|2007. 06. 07.

Fault Detection and Control Systems참고 문헌 10인용 수 6

한 줄 요약

이 논문은 완전하지 않거나 노이즈가 많은 센서 데이터를 가진 실제 시스템의 신경망 모델링을 향상시키기 위해 유전 알고리즘(GA) 기반의 변수 선택 방법을 제안한다. 입력 변수의 부분집합을 최적화함으로써 모델의 정확성과 강건성을 향상시키며, 이는 유한한 센서 데이터를 가진 액체 공급형 세라믹 메틀러에 적용되어 표준 신경망보다 뚜렷한 성능 향상을 보였다.

ABSTRACT

Neural network models of real-world systems, such as industrial processes, made from sensor data must often rely on incomplete data. System states may not all be known, sensor data may be biased or noisy, and it is not often known which sensor data may be useful for predictive modelling. Genetic algorithms may be used to help to address this problem by determining the near optimal subset of sensor variables most appropriate to produce good models. This paper describes the use of genetic search to optimize variable selection to determine inputs into the neural network model. We discuss genetic algorithm implementation issues including data representation types and genetic operators such as crossover and mutation. We present the use of this technique for neural network modelling of a typical industrial application, a liquid fed ceramic melter, and detail the results of the genetic search to optimize the neural network model for this application.

연구 동기 및 목표

• 센서 데이터가 완전하지 않거나 노이즈가 있거나 편향되어 있을 때 신경망 모델의 최적 입력 변수를 선택하는 데 도전한다.
• 복잡한 산업 시스템에서 예측 모델링에 기여하는 센서 변수를 식별하는 데 어려움을 해결한다.
• 진화 계산을 활용해 가장 관련성이 높은 입력 변수를 식별함으로써 신경망 모델의 정확성과 강건성을 향상시킨다.
• 유전 알고리즘이 실제 산업 응용 분야에서 입력 선택을 최적화하는 데 효과적인지 입증한다.
• 과적합을 줄이고 일반화 능력을 향상시키는 데 기여하는 체계적인 변수 선택 프레임워크를 제공한다.

제안 방법

• 각 비트가 센서 변수의 포함(1) 또는 배제(0)를 나타내는 이진 문자열로 후보 변수 부분집합을 표현한다.
• 이진 문자열에 대해 교차 및 돌연변이와 같은 유전 연산자를 적용하여 가능한 변수 조합의 탐색 공간을 탐색한다.
• 신경망 예측 성능(예: 평균 제곱 오차)을 기반으로 한 적합도 함수를 사용해 각 변수 부분집합을 평가한다.
• 선택, 교차, 돌연변이를 반복적으로 적용하여 높은 성능을 보이는 구성으로 수렴하는 변수 부분집합 집단을 진화시킨다.
• 선택된 변수 부분집합을 사용해 신경망을 훈련하고 검증하여 예측 정확도를 평가한다.
• 유전 알고리즘 최적화 변수 선택 프로세스를 산업 시스템을 위한 완전한 모델링 파이프라인에 통합한다.

실험 결과

연구 질문

• RQ1 유전 알고리즘 기반 변수 선택은 완전하지 않은 센서 데이터를 가진 실제 산업 시스템의 신경망 모델 예측 정확도를 향상시킬 수 있는가?
• RQ2 액체 공급형 세라믹 메틀러의 경우 어떤 센서 변수 조합이 가장 정확한 신경망 예측을 제공하는가?
• RQ3 모든 가용 입력 변수를 사용한 표준 신경망 모델링과 비교해 유전 알고리즘 기반 변수 선택은 어떻게 다를까?
• RQ4 노이즈가 있거나 편향된 센서 데이터가 존재할 경우 변수 선택은 모델의 강건성과 일반화 능력에 어떤 영향을 미치는가?
• RQ5 이 응용 분야에서 최적의 유전 알고리즘 파rameter 설정(예: 집단 크기, 돌연변이 비율)은 무엇인가?

주요 결과

• 유전 알고리즘이 모든 가용 입력을 사용한 모델과 비교해 유의미하게 향상된 예측 정확도를 보이는 감소된 센서 변수 부분집합을 성공적으로 식별했다.
• 최적화된 모델은 검증 데이터에서 더 낮은 평균 제곱 오차를 기록하여 향상된 예측 성능을 입증했다.
• 이 방법은 관련이 없는 또는 노이즈가 많은 변수들을 효과적으로 걸러내어 과적합을 줄이고 모델 일반화 능력을 향상시켰다.
• 다양한 실행에 걸쳐 선택된 변수 부분집합이 안정적이었으며, 최적화 과정의 강건성을 나타냈다.
• 이 방법은 완전하지 않거나 노이즈가 많은 센서 데이터를 효과적으로 처리할 수 있어 실제 산업 응용에 적합함을 입증했다.
• 결과적으로 유전 알고리즘을 통한 변수 선택이 복잡한 시스템에서 신경망 모델링을 향상시키는 실현 가능하고 효과적인 전략임을 확인했다.