[論文レビュー] FCM-RDpA: TSK Fuzzy Regression Model Construction Using Fuzzy C-Means Clustering, Regularization, DropRule, and Powerball AdaBelief

Zhenhua Shi, Dongrui Wu+4 more|arXiv (Cornell University)|Nov 30, 2020

Fuzzy Logic and Control Systems参考文献 30被引用数 5

ひとこと要約

本稿では、グリッドベースのルール初期化をファジィc-メンズクラスタリングに置き換え、AdaBoundをPowerball AdaBeliefに置き換えることで、適応的勾配および学習率調整を実現する、TSKファジィ回帰モデルであるFCM-RDpAを提案する。この手法は、特に高次元回帰データセットにおいて優れた汎化性能を達成し、前件部および結果部に特徴を拡張するFCM-RDpAxによりさらなる向上が図られる。

ABSTRACT

To effectively optimize Takagi-Sugeno-Kang (TSK) fuzzy systems for regression problems, a mini-batch gradient descent with regularization, DropRule, and AdaBound (MBGD-RDA) algorithm was recently proposed. This paper further proposes FCM-RDpA, which improves MBGD-RDA by replacing the grid partition approach in rule initialization by fuzzy c-means clustering, and AdaBound by Powerball AdaBelief, which integrates recently proposed Powerball gradient and AdaBelief to further expedite and stabilize parameter optimization. Extensive experiments on 22 regression datasets with various sizes and dimensionalities validated the superiority of FCM-RDpA over MBGD-RDA, especially when the feature dimensionality is higher. We also propose an additional approach, FCM-RDpAx, that further improves FCM-RDpA by using augmented features in both the antecedents and consequents of the rules.

研究の動機と目的

• 高次元回帰問題を扱う既存のTSKファジィ回帰モデルの限界に対処すること。
• TSKファジィシステムにおけるパラメータ最適化の安定性と収束速度を向上させること。
• 独立した所属関数のためのグリッド分割初期化をファジィc-メンズクラスタリングに置き換えることで、モデルの汎化性能を向上させること。
• 最適化パイプラインにPowerball AdaBeliefを統合し、勾配と学習率を適応的に調整すること。
• 前件部および結果部にトレーニング可能な特徴投影を組み込む拡張版、FCM-RDpAxを提案すること。

提案手法

• FCM-RDpAは、MBGD-RDAにおけるグリッド分割ベースの初期化を、各ルールの独立した所属関数を初期化するファジィc-メンズクラスタリングに置き換える。
• 過学習を防ぐために、L2正則化を用いたミニバッチ勾配降下法を採用する。
• 一般化を向上させるために、訓練中に入力特徴をランダムにドロップするDropRuleを統合する。
• AdaBoundに代えて、Powerball勾配とAdaBeliefを組み合わせたPowerball AdaBeliefを採用し、勾配と学習率を動的に適応させる。
• 適応的モーメンタムおよび分散推定を用いて、同時に前件部および結果部のパラメータを更新する。
• FCM-RDpAxは、ルールの前件部および結果部に、元の特徴とトレーニング可能な線形投影を連結することで、FCM-RDpAを拡張する。

実験結果

リサーチクエスチョン

• RQ1 グリッド分割と比較して、ファジィc-メンズクラスタリングは、TSKファジィシステムにおける独立した所属関数の初期化を改善できるか？
• RQ2 収束速度および汎化性能の観点から、Powerball AdaBeliefはAdaBoundを上回るのか？
• RQ3 DropRuleと正則化の統合は、TSKファジィ回帰モデルのロバスト性および一般化性能にどのように影響するか？
• RQ4 トレーニング可能な線形投影による特徴拡張は、高次元設定におけるモデル容量および性能をさらに向上させられるか？
• RQ5 FCM-RDpAは、リッジ回帰およびMBGD-RDAなどの最先端手法と比較して、多様な回帰データセットでどのように性能を発揮するか？

主な発見

• FCM-RDpAは22個の回帰データセットにおいて、平均正規化済みテストRMSEが最も低く、リッジ回帰およびMBGD-RDAを上回った。
• Powerball AdaBeliefの統合により、最適化の安定性と収束が顕著に向上し、特に高次元問題において顕著であった。
• 前件部および結果部に特徴拡張を施すFCM-RDpAxは、わずかに高い計算コストを伴うものの、平均テストRMSEが最低を記録した。
• Powerball勾配は、すべてのベースライン最適化手法（AdaBound、SGDM、Adam、AdaBelief）において一貫して性能を向上させ、その有効性を裏付けた。
• 指数的ルール数の増加が共有所属関数において問題となる高次元設定において、本手法は特に優位性を示した。
• DropRuleと正則化は、低いテストRMSEと過学習の低減という観点から、一般化性能の向上に寄与した。