[논문 리뷰] FCM-RDpA: TSK Fuzzy Regression Model Construction Using Fuzzy C-Means Clustering, Regularization, DropRule, and Powerball AdaBelief

Zhenhua Shi, Dongrui Wu외 4명|arXiv (Cornell University)|2020. 11. 30.

Fuzzy Logic and Control Systems참고 문헌 30인용 수 5

한 줄 요약

이 논문은 TSK 퍼지 회귀 모델의 매개변수 최적화를 향상시키기 위해 격자 기반 규칙 초기화를 퍼지 c-means 군집화로 대체하고, AdaBound을 Powerball AdaBelief로 대체하여 적응형 기울기 및 학습률 조정을 수행하는 FCM-RDpA라는 새로운 TSK 퍼지 회귀 모델을 제안한다. 이 방법은 고차원 회귀 데이터셋에서 특히 뛰어난 일반화 성능을 달성하며, 이는 전건과 후건 모두에서 특징을 증강하는 FCM-RDpAx를 통해 추가로 향상된다.

ABSTRACT

To effectively optimize Takagi-Sugeno-Kang (TSK) fuzzy systems for regression problems, a mini-batch gradient descent with regularization, DropRule, and AdaBound (MBGD-RDA) algorithm was recently proposed. This paper further proposes FCM-RDpA, which improves MBGD-RDA by replacing the grid partition approach in rule initialization by fuzzy c-means clustering, and AdaBound by Powerball AdaBelief, which integrates recently proposed Powerball gradient and AdaBelief to further expedite and stabilize parameter optimization. Extensive experiments on 22 regression datasets with various sizes and dimensionalities validated the superiority of FCM-RDpA over MBGD-RDA, especially when the feature dimensionality is higher. We also propose an additional approach, FCM-RDpAx, that further improves FCM-RDpA by using augmented features in both the antecedents and consequents of the rules.

연구 동기 및 목표

• 기존 TSK 퍼지 회귀 모델이 고차원 회귀 문제를 다루는 데에 한계를 보이는 것을 해결하기 위해.
• TSK 퍼지 시스템에서 매개변수 최적화의 안정성과 수렴 속도를 향상시키기 위해.
• 공유된 소속도 함수 대신 독립적인 소속도 함수를 위해 격자 분할 초기화를 퍼지 c-means 군집화로 대체하여 모델의 일반화 성능을 향상시키기 위해.
• 최적화 파ipeline에 Powerball AdaBelief를 통합하여 기울기와 학습률을 적응적으로 조정하기 위해.
• 전건과 후건 모두에서 훈련 가능한 특징 투영을 통해 모델 용량을 증가시키는 확장형 버전인 FCM-RDpAx를 제안하기 위해.

제안 방법

• FCM-RDpA는 MBGD-RDA에서 사용하는 격자 기반 초기화를 대체하여, 각 규칙에 대해 독립적인 소속도 함수를 초기화하기 위해 퍼지 c-means 군집화를 적용한다.
• 과적합을 방지하기 위해 L2 정규화를 사용한 미니배치 경사하강법을 사용한다.
• 일괄적으로 입력 특징을 무작위로 제거하는 DropRule을 통합하여 일반화 성능을 향상시킨다.
• AdaBound 대신 기울기와 학습률을 동적으로 조정할 수 있는 Powerball 기울기와 AdaBelief를 조합한 Powerball AdaBelief를 도입한다.
• 적응형 운동량 및 분산 추정치를 사용하여 전건과 후건 매개변수를 동시에 업데이트한다.
• FCM-RDpAx는 FCM-RDpA를 확장하여 규칙의 전건과 후건 부분에 원본 특징와 훈련 가능한 선형 투영을 연결함으로써 특징을 증강한다.

실험 결과

연구 질문

• RQ1 격자 분할보다 퍼지 c-means 군집화가 TSK 퍼지 시스템에서 독립적인 소속도 함수의 초기화에 더 나은 성능을 발휘하는가?
• RQ2 수렴 속도와 일반화 성능 측면에서 Powerball AdaBelief가 AdaBound보다 TSK 퍼지 회귀 모델 최적화에 더 나은가?
• RQ3 DropRule과 정규화의 통합은 TSK 퍼지 회귀 모델의 강인성과 일반화 성능에 어떤 영향을 미치는가?
• RQ4 훈련 가능한 선형 투영을 통한 특징 증강이 고차원 환경에서 모델 용량과 성능을 추가로 향상시킬 수 있는가?
• RQ5 다양한 회귀 데이터셋에서 FCM-RDpA는 리지 회귀와 MBGD-RDA와 같은 최신 기법들보다 어떻게 비교되는가?

주요 결과

• FCM-RDpA는 22개의 회귀 데이터셋에서 평균 정규화된 테스트 RMSE가 가장 낮게 기록하여 리지 회귀와 MBGD-RDA를 모두 압도했다.
• Powerball AdaBelief의 통합으로 최적화의 안정성과 수렴 성능이 크게 향상되었으며, 특히 고차원 문제에서 두드러졌다.
• 전건과 후건 모두에서 증강된 특징을 사용하는 FCM-RDpAx는 평균 테스트 RMSE가 가장 낮았지만, 약간의 계산 비용 증가가 수반되었다.
• Powerball 기울기는 모든 기준 최적화기(AdaBound, SGDM, Adam, AdaBelief)에서 일관되게 성능 향상을 이끌어내어 그 효과를 입증했다.
• 지수적 규칙 수 증가가 공유된 소속도 함수에서 문제가 되는 고차원 환경에서 이 방법은 특히 유리한 성능을 보였다.
• DropRule과 정규화는 더 낮은 테스트 RMSE와 과적합 감소를 통해 일반화 성능 향상에 기여했다.