[논문 리뷰] Data-Driven Fuzzy Modeling Using Deep Learning

Erick de la Rosa, Wen Yu|arXiv (Cornell University)|2017. 02. 23.

Neural Networks and Applications참고 문헌 27인용 수 11

한 줄 요약

이 논문은 비선형 시스템 식별을 향상시키기 위해 딥러닝, 확률 이론 및 극단적 학습 기계(ELM)를 통합한 데이터 기반 퍼지 모델링 접근법을 제안한다. 연속형 데이터를 위한 제한된 볼츠만 기계(RBM)를 수정하고 RBM가 학습한 특징에 대해 확률 클러스터링을 적용함으로써, 내장된 확률 매개변수를 가진 퍼지 규칙를 추출한다. 이는 기존의 표준 퍼지 모델에 비해 가스 오븐 및 위에너-하머스타인 시스템과 같은 벤치마크 데이터셋에서 더 높은 정확도와 강건성을 달성한다.

ABSTRACT

Fuzzy modeling has many advantages over the non-fuzzy methods, such as robustness against uncertainties and less sensitivity to the varying dynamics of nonlinear systems. Data-driven fuzzy modeling needs to extract fuzzy rules from the input/output data, and train the fuzzy parameters. This paper takes advantages from deep learning, probability theory, fuzzy modeling, and extreme learning machines. We use the restricted Boltzmann machine (RBM) and probability theory to overcome some common problems in data based modeling methods. The RBM is modified such that it can be trained with continuous values. A probability based clustering method is proposed to partition the hidden features from the RBM, and extract fuzzy rules with probability measurement. An extreme learning machine and an optimization method are applied to train the consequent part of the fuzzy rules and the probability parameters. The proposed method is validated with two benchmark problems.

연구 동기 및 목표

• 기존의 클러스터링 기반 규칙 추출의 한계를 극복하는 데이터 기반 퍼지 모델링 프레임워크를 개발하기 위해.
• 기존의 퍼지 모델링에서의 확률 표현 부족 문제를 해결하기 위해 확률 이론을 퍼지 규칙의 전제 및 결과에 통합하기 위해.
• 딥러닝 특징과 최적화된 매개변수 학습을 통해 비선형 시스템 식별의 정확도와 강건성을 향상시키기 위해.
• RBM 기반 특징 추출과 확률 클러스터링을 통해 대규모이고 불확실한 데이터셋에 대해 확장 가능하고 정확하며 적응 가능한 퍼지 모델링을 가능하게 하기 위해.
• 실제 응용 벤치마크 문제에서의 성능을 검증하여 표준 퍼지 모델링 및 ELM 기반 접근법에 비해 뛰어난 성능을 보여주기 위해.

제안 방법

• 기존 RBM의 이진 입력 제한을 극복하기 위해 연속형 입력/출력 데이터에 대해 수정된 제한된 볼츠만 기계(RBM)를 훈련하여 깊이 있는 계층적 특징을 추출한다.
• 중국 식당 과정을 영감으로 삼은 확률 기반 클러스터링 방법이 RBM의 은닉 특징을 클러스터로 분할하여 퍼지 규칙의 전제를 형성한다.
• 각 퍼지 규칙의 결과 부분은 의사역행렬 기반 출력 가중치 계산을 사용한 극단적 학습 기계(ELM)로 훈련되어 빠른 학습을 달성한다.
• 퍼지 규칙에 확률 매개변수가 통합되며, Z-수에 기반한 측정 방식으로 모델링되고, 순차적 평면 프로그래밍(SQP)과 MATLAB의 fmincon을 사용해 최적화된다.
• 전체 프레임워크는 비지도 사전 훈련(RBM), 확률적 구조 식별(클러스터링), 그리고 지도 학습 기반 매개변수 학습(ELM + 최적화)을 통합한다.
• 온라인 학습 기반 RBM 훈련과 함께 순차적 클러스터링 및 매개변수 업데이트를 통합하여 온라인 적응을 가능하게 한다.

실험 결과

연구 질문

• RQ1 수정된 RBM이 입력/출력 데이터로부터 퍼지 모델링에 적합한 의미 있는 연속형 특징을 효과적으로 추출할 수 있는가?
• RQ2 RBM가 학습한 특징에 대해 확률 클러스터링을 적용할 경우, 기존의 거리 기반 클러스터링에 비해 더 정확하고 강건한 퍼지 규칙 추출이 가능한가?
• RQ3 퍼지 규칙에 확률 매개변수를 통합함으로써 비선형 시스템의 모델링 정확도가 향상되는가?
• RQ4 제안된 방법은 표준 퍼지 모델링 및 ELM 기반 접근법에 비해 일반화 능력과 오차 성능 측면에서 어떻게 비교되는가?
• RQ5 딥러닝 사전 훈련이 대규모이고 불확실한 데이터셋에서 데이터 기반 퍼지 모델의 성능을 얼마나 향상시키는가?

주요 결과

• 가스 오븐 벤치마크에서 제안된 방법은 테스트 MSE를 표준 퍼지 규칙의 26.2×10⁻³에서 확률적 퍼지 규칙의 19.3×10⁻³으로 감소시켜 26.3% 향상시켰다.
• 위에너-하머스타인 벤치마크에서는 확률적 규칙과 RBM 특징을 사용해 테스트 MSE 19.3×10⁻³을 달성했으며, 이는 표준 퍼지 규칙(26.4×10⁻³)과 비RBM 변형보다 뛰어난 성능을 보였다.
• 두 벤치마크에서 원시 입력 데이터에 직접 클러스터링을 적용한 것에 비해 RBM 특징 사용으로 테스트 MSE 평균 14.5% 감소를 기록했다.
• 표준 퍼지 규칙에 비해 퍼지 규칙에 확률 매개변수를 통합함으로써 MSE 평균 14.1% 감소를 기록하여 더 뛰어난 확률적 모델링 능력을 입증했다.
• 188,000개 샘플을 포함한 위에너-하머스타인 데이터셋에서 더 큰 데이터셋에 대해 더 나은 성능을 보여, 확장성과 정확도 향상을 입증했다.
• 확률 최적화 및 RBM 사전 훈련으로 인해 계산 시간이 증가했지만, 복잡한 비선형 시스템 식별에서 뚜렷한 정확도 향상 덕분에 이는 타당한 트레이드오프이다.