[论文解读] An Optimized Toolbox for Advanced Image Processing with Tsetlin Machine Composites

Ylva Grønningsæter, Halvor S. Smørvik+1 more|arXiv (Cornell University)|Jun 2, 2024

Brain Tumor Detection and ClassificationNeuroscience被引用 3

一句话总结

本论文提出了一套由22个Tsetlin Machine（TM）专家组成的创新工具箱，结合了先进的图像处理技术（如Canny边缘检测、方向梯度直方图以及色彩温度计）与通过Optuna进行的严格超参数搜索。所提出的TM组合架构在CIFAR-10上实现了82.8%的新SOTA准确率，相较于以往基于TM的方法显著提升了7.7个百分点。

ABSTRACT

The Tsetlin Machine (TM) has achieved competitive results on several image classification benchmarks, including MNIST, K-MNIST, F-MNIST, and CIFAR-2. However, color image classification is arguably still in its infancy for TMs, with CIFAR-10 being a focal point for tracking progress. Over the past few years, TM's CIFAR-10 accuracy has increased from around 61% in 2020 to 75.1% in 2023 with the introduction of Drop Clause. In this paper, we leverage the recently proposed TM Composites architecture and introduce a range of TM Specialists that use various image processing techniques. These include Canny edge detection, Histogram of Oriented Gradients, adaptive mean thresholding, adaptive Gaussian thresholding, Otsu's thresholding, color thermometers, and adaptive color thermometers. In addition, we conduct a rigorous hyperparameter search, where we uncover optimal hyperparameters for several of the TM Specialists. The result is a toolbox that provides new state-of-the-art results on CIFAR-10 for TMs with an accuracy of 82.8%. In conclusion, our toolbox of TM Specialists forms a foundation for new TM applications and a landmark for further research on TM Composites in image analysis.

研究动机与目标

• 提升Tsetlin Machine在彩色图像分类任务中的性能，特别是在CIFAR-10上的表现，尽管在更简单的基准上已有进展，但该任务仍处于研究不足状态。
• 开发一个模块化、即插即用的TM专家工具箱，采用多种图像处理技术以改善分类前的特征表示。
• 利用Optuna进行全面的超参数搜索，以识别每个TM专家的最优配置，从而最大化准确率与鲁棒性。
• 通过改变每个专家的短语数量，评估TM组合的可扩展性与性能，分析准确率趋势。
• 在CIFAR-10上建立可解释性低复杂度机器学习的新基准，弥合准确率与模型可解释性之间的差距。

提出的方法

• 作者设计了22个TM专家，每个专家在CIFAR-10图像上应用不同的图像处理技术（包括Canny边缘检测、Otsu阈值化、自适应高斯阈值化以及色彩温度计）后，再进行TM分类。
• 每个TM专家均使用可配置短语数量（范围为8,000至64,000）的卷积Tsetlin Machine（CTM）架构进行训练，以评估可扩展性。
• 利用Optuna优化框架对每个专家的Tsetlin Machine参数（如阈值参数T和缩放因子s）进行超参数搜索，以确定最优值。
• TM组合架构通过投票机制整合多个训练好的TM专家，每个专家提供一个预测结果，最终类别由多数投票决定。
• 在不同短语数量（8K至64K）下评估TM组合的性能，以分析模型容量对准确率与收敛性的影响。
• 部分配置中包含数据增强以提升泛化能力，结果在增强与非增强数据上均有报告。

实验结果

研究问题

• RQ1 多样化的图像处理技术是否能显著提升Tsetlin Machine在CIFAR-10等彩色图像分类任务中的准确率？
• RQ2 当应用于不同图像处理流程时，每个TM专家的最优超参数配置（如T、s、短语数量）是什么？
• RQ3 每个TM专家的短语数量如何影响TM组合在CIFAR-10上的整体准确率？
• RQ4 TM组合架构是否能在CIFAR-10上超越现有SOTA的基于TM的模型，特别是在准确率与可解释性方面？
• RQ5 某些图像处理技术（如色彩温度计或自适应阈值化）是否在多个TM专家配置中均表现出更优的性能？

主要发现

• 由22个TM专家组成的TM组合，每个专家使用64,000个短语并经超参数优化，首次在CIFAR-10上达到82.8%的新SOTA准确率。
• 表现最佳的单个TM专家——5x5色彩温度计（64,000个短语）达到75.4%的准确率，超过此前SOTA的75.1%。
• TM组合的准确率随短语数量增加而提升，至32,000个短语时达到82.7%，在64,000个短语时仅略有提升至82.8%，表明超过某一容量后收益递减。
• 通过Optuna进行的超参数搜索为多个TM专家识别出稳健且高效的配置，准确率随短语数量增加而持续提升，但方向梯度直方图及其增强变体在32,000个短语后趋于平台。
• 使用优化超参数的色彩温度计与自适应高斯阈值化，其准确率高于以往TM研究中报告的结果。
• TM组合架构成功将多种图像处理流程整合为单一高性能集成模型，展示了在提升性能方面的可扩展性与有效性。