[論文レビュー] Optimize TSK Fuzzy Systems for Regression Problems: Mini-Batch Gradient Descent with Regularization, DropRule and AdaBound (MBGD-RDA)

Dongrui Wu, Ye Yuan+1 more|arXiv (Cornell University)|Mar 26, 2019

Neural Networks and Applications参考文献 33被引用数 7

ひとこと要約

本稿では、回帰タスクにおけるタカギ・スゲノ・カン（TSK）ファジィシステムのための新しいトレーニングアルゴリズムMBGD-RDAを提案する。この手法は、ミニバッチ勾配降下、正則化、AdaBound最適化、および新規のドロップルール技術を組み合わせたものであり、高速な収束と優れた一般化性能を達成する。特に、効率的な代替手法が存在しない大規模データセットにおいて顕著な効果を示す。

ABSTRACT

Takagi-Sugeno-Kang (TSK) fuzzy systems are very useful machine learning models for regression problems. However, to our knowledge, there has not existed an efficient and effective training algorithm that ensures their generalization performance, and also enables them to deal with big data. Inspired by the connections between TSK fuzzy systems and neural networks, we extend three powerful neural network optimization techniques, i.e., mini-batch gradient descent, regularization, and AdaBound, to TSK fuzzy systems, and also propose three novel techniques (DropRule, DropMF, and DropMembership) specifically for training TSK fuzzy systems. Our final algorithm, mini-batch gradient descent with regularization, DropRule and AdaBound (MBGD-RDA), can achieve fast convergence in training TSK fuzzy systems, and also superior generalization performance in testing. It can be used for training TSK fuzzy systems on datasets of any size; however, it is particularly useful for big datasets, on which currently no other efficient training algorithms exist.

研究の動機と目的

• ビッグデータ回帰問題におけるTSKファジィシステムのための効率的で一般化可能なトレーニングアルゴリズムの不足を解消すること。
• 進化的アルゴリズムやANFISといった従来手法の限界を克服すること。これらの手法は大規模データセットにおいて遅いか、過学習に陥りやすい。
• TSKファジィシステムとニューラルネットワークの類似性を活用し、先進的なディープラーニング最適化技術を応用すること。
• TSKファジィシステムに特化したドロップアウト風正則化技術（ドロップルール、ドロップMF、ドロップメンバーシップ）を新たに開発すること。
• 任意のサイズのデータセットに対して効果的なトレーニングを可能にし、特にビッグデータへのスケーラビリティに重点を置くこと。

提案手法

• 大規模データセットにおける効率的トレーニングを実現するため、TSKファジィシステムにミニバッチ勾配降下（MBGD）を適応させる。これは、データの小さなランダムバッチを処理することで実現する。
• 過学習を防ぎ、一般化性能を向上させるためにL2正則化を統合する。
• 学習率を動的に調整することで、高速な収束と安定したトレーニングを実現するため、AdaBound最適化を適用する。
• 全ファジィルールをランダムにドロップする新たなドロップアウト技術「ドロップルール」を提案する。これにより、モデルのロバスト性が向上する。
• 比較分析のため、メンバーシップ関数（ドロップMF）やメンバーシップ値（ドロップメンバーシップ）をドロップする代替のドロップアウト戦略を設計する。
• すべての要素を統合した包括的なアルゴリズム、MBGD-RDAを構築する。このアルゴリズムは、MBGD、正則化、AdaBound、およびドロップルールを統合し、エンドツーエンドのトレーニングを可能にする。

実験結果

リサーチクエスチョン

• RQ1 ミニバッチ勾配降下は、特にスケールの大きな回帰タスクにおいて、TSKファジィシステムのトレーニングに効果的に適応可能か？
• RQ2 正則化とAdaBoundの統合は、TSKファジィシステムのトレーニングにおける収束速度と一般化性能をどのように向上させるか？
• RQ3 異なるドロップアウト戦略（ドロップルール、ドロップMF、ドロップメンバーシップ）は、TSKファジィシステムのパフォーマンスにどのような影響を与えるか？
• RQ4 Adamやその他の最適化ベースラインと比較して、MBGD-RDAの収束性およびテスト性能はどの程度か？
• RQ5 従来の手法が計算またはメモリ制約により失敗するようなビッグデータ回帰問題において、MBGD-RDAは効果的に機能するか？

主な発見

• 10のベンチマークデータセットの大部分において、MBGD-RDAはAdamを用いたMBGD-RD-Adamよりも高速な収束を達成した。
• 10のデータセットすべてにおいて、MBGD-RDAはMBGD-RD-Adamと同等またはより小さい最良のテストRMSEを達成し、優れたまたは競争力のある一般化性能を示した。
• トレーニングおよびテストのRMSEの観点から、ドロップルールはドロップMFおよびドロップメンバーシップを上回った。これは、ドロップアウト時により大きな構造的変更を加えることで、モデルのロバスト性が向上することを示唆している。
• MBGD-RDAを用いることで、トレーニング誤差とテスト誤差の差が縮小され、効果的な正則化と一般化性能の向上が確認された。
• アルゴリズムはスケーラブルであり、任意のサイズのデータセットに対して効果的で、特に効率的な代替手法が存在しないビッグデータにおいて顕著な利点を示した。
• MBGDと正則化にAdaBoundを統合した結果、安定的かつ高速な収束が達成され、TSKファジィシステム最適化におけるその有効性が裏付けられた。