[논문 리뷰] PyTSK: A Python Toolbox for TSK Fuzzy Systems

Yuqi Cui, Dongrui Wu외 2명|arXiv (Cornell University)|2022. 06. 07.

Fuzzy Logic and Control Systems인용 수 4

한 줄 요약

PyTSK는 scikit-learn과 PyTorch 기반으로 구축된 파이썬 도구상자로, 미니배치 경사하강법(MBGD) 최적화 또는 퍼지 클러스터링을 사용하여 타카기-수게노-칸(Такаги–Sugeno–Kang, TSK) 퍼지 시스템을 효율적으로 개발할 수 있도록 지원한다. 균일 정규화, 고차원 탈퍼지화, DropRule와 같은 고급 기법을 지원하여 대용량 데이터 응용 분야에서의 일반화 능력과 확장성 향상에 기여한다.

ABSTRACT

This paper presents PyTSK, a Python toolbox for developing Takagi-Sugeno-Kang (TSK) fuzzy systems. Based on scikit-learn and PyTorch, PyTSK allows users to optimize TSK fuzzy systems using fuzzy clustering or mini-batch gradient descent (MBGD) based algorithms. Several state-of-the-art MBGD-based optimization algorithms are implemented in the toolbox, which can improve the generalization performance of TSK fuzzy systems, especially for big data applications. PyTSK can also be easily extended and customized for more complicated algorithms, such as modifying the structure of TSK fuzzy systems, developing more sophisticated training algorithms, and combining TSK fuzzy systems with neural networks. The code of PyTSK can be found at https://github.com/YuqiCui/pytsk.

연구 동기 및 목표

• 현대적 최적화 기법을 활용한 TSK 퍼지 시스템을 개발하기 위한 종합적이고 사용자 友好的 파이썬 라이브러리의 부족을 보완하기 위해.
• 대용량 데이터 응용 분야에서 TSK 퍼지 시스템의 확장성과 일반화 능력을 향상시키기 위해.
• 딥 러닝 생태계와 호환되는 통합적이고 확장 가능한 프레임워크에 최신 MBGD 기반 최적화 방법을 통합하기 위해.
• 기존 머신 러닝 워크플로우와의 상호 운용성을 위해 scikit-learn 및 PyTorch와의 원활한 통합을 가능하게 하기 위해.
• 균일 정규화, 고차원 탈퍼지화, DropRule와 같은 고급 기법을 지원하여 모델 성능을 향상시키기 위해.

제안 방법

• PyTSK는 전건 파rameter 학습을 위해 scikit-learn 호환 TransformerMixin 클래스로 퍼지 c-평균 클러스터링을 구현한다.
• 후건 파rameter 학습을 위해 scikit-learn의 Pipeline을 사용하여 퍼지 클러스터링과 선형 회귀를 결합한다.
• MBGD 기반 최적화를 위해 PyTSK는 TSK 모델을 PyTorch Module 클래스로 구축하여 엔드 투 엔드 미분 가능 학습을 가능하게 한다.
• 구조적 커스터마이제이션을 위한 전용 미들웨어로, 화염 수준(FL) Transformer와 입력 Transformer를 포함한다.
• 고급 정규화 기법을 통합: 규칙 사망 방지를 위한 균일 정규화, 고차원 입력 처리를 위한 HTSK, PyTorch Dropout 기반의 DropRule.
• 표준 PyTorch 최적화기와 손실 함수를 사용하여 모델 학습을 수행하며, 훈련 및 예측 워크플로우를 추상화하는 Wrapper 클래스를 제공한다.

실험 결과

연구 질문

• RQ1 대용량 환경에서 TSK 퍼지 시스템을 어떻게 효율적으로 미니배치 경사하강법으로 최적화할 수 있는가?
• RQ2 균일 정규화 및 DropRule와 같은 고급 정규화 기법이 TSK 퍼지 시스템의 일반화 능력 향상에 어떤 역할을 하는가?
• RQ3 PyTSK의 모듈러 설계는 딥 러닝 프레임워크와 기존 머신 러닝 파ip라인에 얼마나 잘 통합될 수 있는가?
• RQ4 고차원 탈퍼지화는 고차원 데이터셋에서 TSK 퍼지 시스템의 성능을 어떻게 향상시키는가?
• RQ5 통합적이고 확장 가능한 파이썬 도구상자는 전통적인 퍼지 시스템과 현대적 딥 러닝 실천 간 격차를 메울 수 있는가?

주요 결과

• PyTSK는 최소한의 코드 복잡도로 퍼지 클러스터링과 MBGD 기반 최적화를 모두 활용하여 확장 가능한 TSK 퍼지 시스템 개발을 가능하게 한다.
• 훈련 루프에 균일 정규화를 통합함으로써 규칙 사망을 효과적으로 방지하고 모델 일반화 능력을 향상시킨다.
• 고차원 탈퍼지화(HTSK)는 입력 차원에 따라 지수 항을 조정함으로써 고차원 데이터셋에서 성능을 크게 향상시킨다.
• FL Transformer에서 PyTorch Dropout을 활용한 DropRule는 훈련 중에 규칙를 무작위로 억제함으로써 일반화 능력을 향상시킨다.
• PyTorch의 모듈 구성 기능을 활용하여 딥 및 스태킹 퍼지 시스템을 지원함으로써 계층적 특징 학습이 가능해진다.
• scikit-learn 기반의 API 설계 덕분에 GridSearchCV와 같은 표준 머신 러닝 도구를 간편하게 활용하여 하이퍼파ram터 튜닝이 가능하다.