[논문 리뷰] Optimize TSK Fuzzy Systems for Regression Problems: Mini-Batch Gradient Descent with Regularization, DropRule and AdaBound (MBGD-RDA)

Dongrui Wu, Ye Yuan외 1명|arXiv (Cornell University)|2019. 03. 26.

Neural Networks and Applications참고 문헌 33인용 수 7

한 줄 요약

이 논문은 회귀 과제를 위한 타카기-수게노-칸(ТSK) 퍼지 시스템을 위한 새로운 학습 알고리즘인 MBGD-RDA를 제안한다. 이 알고리즘은 미니배치 경사하강법, 정규화, AdaBound 최적화, 그리고 새로운 DropRule 기법을 결합한다. 이는 빠른 수렴과 뛰어난 일반화 성능을 달성하며, 특히 효율적인 대안이 없는 대규모 데이터셋에서 뛰어난 성능을 발휘한다.

ABSTRACT

Takagi-Sugeno-Kang (TSK) fuzzy systems are very useful machine learning models for regression problems. However, to our knowledge, there has not existed an efficient and effective training algorithm that ensures their generalization performance, and also enables them to deal with big data. Inspired by the connections between TSK fuzzy systems and neural networks, we extend three powerful neural network optimization techniques, i.e., mini-batch gradient descent, regularization, and AdaBound, to TSK fuzzy systems, and also propose three novel techniques (DropRule, DropMF, and DropMembership) specifically for training TSK fuzzy systems. Our final algorithm, mini-batch gradient descent with regularization, DropRule and AdaBound (MBGD-RDA), can achieve fast convergence in training TSK fuzzy systems, and also superior generalization performance in testing. It can be used for training TSK fuzzy systems on datasets of any size; however, it is particularly useful for big datasets, on which currently no other efficient training algorithms exist.

연구 동기 및 목표

• 빅데이터 회귀 문제에서 TSK 퍼지 시스템에 대한 효율적이고 일반화 가능한 학습 알고리즘이 부족한 문제를 해결한다.
• 진화 알고리즘과 ANFIS와 같은 기존 방법의 한계를 극복한다. 이러한 방법들은 대규모 데이터셋에서 느리거나 과적합에 취약하다.
• TSK 퍼지 시스템과 신경망 간의 유사성을 활용하여 고급 딥러닝 최적화 기법을 적응시킨다.
• TSK 퍼지 시스템에 특화된 새로운 드롭아웃 스타일 정규화 기법(즉, DropRule, DropMF, DropMembership)을 개발한다.
• 모든 크기의 데이터셋에 대해 TSK 퍼지 시스템을 효과적으로 학습할 수 있도록 하며, 특히 빅데이터 환경에서의 확장성에 중점을 둔다.

제안 방법

• 대규모 데이터셋에서의 효율적 학습을 위해 TSK 퍼지 시스템에 대해 미니배치 경사하강법(MBGD)을 적응시켜 작은 무작위 배치의 데이터를 처리한다.
• 과적합 방지를 위해 L2 정규화를 통합하여 일반화 성능을 향상시킨다.
• 학습률을 동적으로 조정하여 수렴 속도를 높이고 학습의 안정성을 확보하기 위해 AdaBound 최적화를 적용한다.
• 학습 중에 전체 퍼지 규칙를 무작위로 제거함으로써 모델의 강건성을 향상시키는 새로운 드롭아웃 기법인 DropRule을 제안한다.
• 비교 분석을 위해 소속도 함수 또는 소속도 값을 무작위로 제거하는 대안적인 드롭아웃 전략인 DropMF와 DropMembership를 설계한다.
• 모든 구성 요소를 통합하여 MBGD, 정규화, AdaBound, DropRule를 포함하는 종단간 학습을 위한 통합 알고리즘인 MBGD-RDA를 개발한다.

실험 결과

연구 질문

• RQ1 미니배치 경사하강법은 대규모 회귀 과제에 대해 TSK 퍼지 시스템 학습에 효과적으로 적응될 수 있는가?
• RQ2 정규화와 AdaBound의 통합은 TSK 퍼지 시스템 학습에서 수렴 속도와 일반화 성능을 어떻게 향상시키는가?
• RQ3 다양한 드롭아웃 전략(DropRule, DropMF, DropMembership)은 TSK 퍼지 시스템의 성능에 어떤 영향을 미치는가?
• RQ4 MBGD-RDA는 Adam 및 기타 최적화 기준 대비 수렴 성능과 테스트 성능에서 어떻게 비교되는가?
• RQ5 기존 방법이 계산 또는 메모리 제약으로 인해 실패하는 대규모 데이터 회귀 문제를 MBGD-RDA는 효과적으로 처리할 수 있는가?

주요 결과

• 테스트한 10개의 벤치마크 데이터셋 대부분에서 MBGD-RDA는 Adam을 사용하는 MBGD-RD-Adam보다 더 빠른 수렴을 달성했다.
• 10개의 데이터셋 전반에서 MBGD-RDA는 MBGD-RD-Adam과 비교해 더 작은 또는 동등한 최적의 테스트 RMSE를 기록하여 뛰어난 또는 경쟁 가능한 일반화 성능을 입증했다.
• 학습 및 테스트 RMSE 측면에서 DropRule은 DropMF와 DropMembership를 모두 앞서며, 드롭아웃 중 더 큰 구조적 변화가 모델의 강건성을 향상시킨다는 것을 시사한다.
• MBGD-RDA를 통해 학습 오차와 테스트 오차 간 격차가 감소하여 효과적인 정규화와 향상된 일반화 성능가 확인되었다.
• 알고리즘은 모든 크기의 데이터셋에 대해 확장 가능하고 효과적이며, 특히 현재 효율적인 대안이 없는 대규모 데이터에서 뛰어난 성능을 발휘한다.
• MBGD와 정규화에 AdaBound을 통합함으로써 안정적이고 빠른 수렴이 달성되었으며, 이는 TSK 퍼지 시스템 최적화에서의 효과성을 입증한다.