[論文レビュー] Data-Driven Fuzzy Modeling Using Deep Learning

Erick de la Rosa, Wen Yu|arXiv (Cornell University)|Feb 23, 2017

Neural Networks and Applications参考文献 27被引用数 11

ひとこと要約

本稿では、深層学習、確率論、および極端学習機械（ELM）を統合したデータ駆動型ファジィモデリング手法を提案する。連続データ用に変更された制限付きボルツマンマシン（RBM）とRBMで学習された特徴量に対する確率的クラスタリングを用いることで、埋め込まれた確率的パラメータを有するファジィルールを抽出する。この手法により、ガス炉やウィener-Hammerstein系といったベンチマークデータセットにおいて、標準的なファジィモデルよりも高い精度とロバスト性を達成した。

ABSTRACT

Fuzzy modeling has many advantages over the non-fuzzy methods, such as robustness against uncertainties and less sensitivity to the varying dynamics of nonlinear systems. Data-driven fuzzy modeling needs to extract fuzzy rules from the input/output data, and train the fuzzy parameters. This paper takes advantages from deep learning, probability theory, fuzzy modeling, and extreme learning machines. We use the restricted Boltzmann machine (RBM) and probability theory to overcome some common problems in data based modeling methods. The RBM is modified such that it can be trained with continuous values. A probability based clustering method is proposed to partition the hidden features from the RBM, and extract fuzzy rules with probability measurement. An extreme learning machine and an optimization method are applied to train the consequent part of the fuzzy rules and the probability parameters. The proposed method is validated with two benchmark problems.

研究の動機と目的

• 従来のクラスタリングベースのルール抽出に起因する制限を克服するデータ駆動型ファジィモデリングフレームワークの開発を目的とする。
• 従来のファジィモデリングにおける確率的表現の欠如を解消するため、確率論をファジィルールの前件および後件に統合することを目的とする。
• 深層学習特徴量と最適化されたパrameter学習を用いて、非線形システム同定におけるモデリング精度とロバスト性を向上させることを目的とする。
• RBMを用いた特徴抽出と確率的クラスタリングを通じて、大規模かつ不確実なデータセットに対応できるスケーラブルで正確かつ適応可能なファジィモデリングを実現することを目的とする。
• 実世界のベンチマーク問題に対して本手法を検証し、標準的なファジィモデリングおよびELMベースの手法よりも優れた性能を示すことを目的とする。

提案手法

• 連続入出力データに対して訓練された修正された制限付きボルツマンマシン（RBM）が、標準のRBMが持つ二値入力制限を克服し、深く階層的な特徴量を抽出する。
• 中国レストラン過程を模倣した確率的クラスタリング手法により、RBMの隠れ特徴量がクラスタに分割され、ファジィルールの前件が形成される。
• 各ファジィルールの後件は、擬似逆行列に基づく出力重み計算を用いた極端学習機械（ELM）により訓練され、高速な学習が実現される。
• 確率的パラメータがファジィルールに組み込まれ、Z数に類似した測度としてモデル化され、順次二次計画法（SQP）およびMATLABのfminconを用いて最適化される。
• 本フレームワークは、非教師あり事前学習（RBM）、確率的構造同定（クラスタリング）、教師ありパrameter学習（ELM + 最適化）を統合する。
• オンライン学習を可能とするために、オンラインRBM学習と再帰的クラスタリングおよびパrameter更新を組み合わせる。

実験結果

リサーチクエスチョン

• RQ1 修正されたRBMは、入出力データからファジィモデリングに適した意味的で連続値の特徴量を効果的に抽出できるか？
• RQ2 RBMで学習された特徴量に対する確率的クラスタリングは、従来の距離ベースクラスタリングに比べ、より正確でロバストなファジィルール抽出を可能にするか？
• RQ3 ファジィルールに確率的パラメータを統合することで、非線形システムのモデリング精度が向上するか？
• RQ4 本手法は、標準的なファジィモデリングおよびELMベースの手法と比較して、一般化性能および誤差性能において優れているか？
• RQ5 深層学習の事前学習が、大規模かつ不確実なデータセットにおけるデータ駆動型ファジィモデリングの性能をどの程度向上させるか？

主な発見

• ガス炉ベンチマークにおいて、本手法はテストMSEを標準的なファジィルールの26.2×10⁻³から、確率的ファジィルールの19.3×10⁻³に低下させ、26.3%の改善を達成した。
• ウィエナー＝ハンマーシュタインベンチマークでは、確率的ルールとRBM特徴量を用いた本手法が、テストMSE 19.3×10⁻³を達成し、標準的なファジィルール（26.4×10⁻³）および非RBMバージョンを上回った。
• 両ベンチマークにおいて、RBM特徴量の使用により、生の入力データへの直接クラスタリングと比較して、テストMSEが平均14.5%低下した。
• ファジィルールに確率的パラメータを組み込むことで、標準的なファジィルールと比較して、MSEが平均14.1%低下し、より優れた確率的モデリング能力を示した。
• 188,000サンプルのウィエナー＝ハンマーシュタインデータセットにおいて、より大きなデータセットでも性能が向上し、スケーラビリティと正確性の向上が裏付けられた。
• 確率的最適化とRBM事前学習による計算時間の増加はあったが、複雑な非線形システム同定において顕著な精度向上が得られたため、妥当なトレードオフであった。