[논문 리뷰] An Optimized Toolbox for Advanced Image Processing with Tsetlin Machine Composites

Ylva Grønningsæter, Halvor S. Smørvik외 1명|arXiv (Cornell University)|2024. 06. 02.

Brain Tumor Detection and ClassificationNeuroscience인용 수 3

한 줄 요약

이 논문은 Canny 에지 검출, 방향성 기울기 히스토그램, 색상 온도계 등 고급 이미지 처리 기법을 활용한 22개의 Tsetlin Machine(TM) 전문가를 포함하는 혁신적인 도구상자(툴박스)를 소개한다. Optuna를 통한 철저한 초기화수치 최적화와 함께, 최종적으로 TM 컴포지트 아키텍처는 CIFAR-10에서 기존의 TM 기반 방법보다 7.7%포인트 높은 82.8%의 새로운 최고 성능을 달성한다.

ABSTRACT

The Tsetlin Machine (TM) has achieved competitive results on several image classification benchmarks, including MNIST, K-MNIST, F-MNIST, and CIFAR-2. However, color image classification is arguably still in its infancy for TMs, with CIFAR-10 being a focal point for tracking progress. Over the past few years, TM's CIFAR-10 accuracy has increased from around 61% in 2020 to 75.1% in 2023 with the introduction of Drop Clause. In this paper, we leverage the recently proposed TM Composites architecture and introduce a range of TM Specialists that use various image processing techniques. These include Canny edge detection, Histogram of Oriented Gradients, adaptive mean thresholding, adaptive Gaussian thresholding, Otsu's thresholding, color thermometers, and adaptive color thermometers. In addition, we conduct a rigorous hyperparameter search, where we uncover optimal hyperparameters for several of the TM Specialists. The result is a toolbox that provides new state-of-the-art results on CIFAR-10 for TMs with an accuracy of 82.8%. In conclusion, our toolbox of TM Specialists forms a foundation for new TM applications and a landmark for further research on TM Composites in image analysis.

연구 동기 및 목표

• CIFAR-10과 같은 복잡한 색상 이미지 분류 작업에서 Tsetlin Machine의 성능을 향상시키고자 하며, 간단한 벤치마크에서는 진전이 있었지만 여전히 미비한 성능을 보이는 분야에 초점을 맞춘다.
• 다양한 이미지 처리 기법을 활용한 모듈식이고 즉시 사용 가능한 TM 전문가 도구상자를 개발하여 분류 이전의 특징 표현을 향상시키고자 한다.
• 각 TM 전문가에 대해 최적의 설정을 도출하기 위해 Optuna 최적화 프레임워크를 활용한 종합적인 초기화수치 검색을 수행하여 정확도와 강건성을 극대화하고자 한다.
• 다양한 클라우즈 수를 가진 전문가 수에 따라 성능과 확장성을 분석함으로써 TM 컴포지트의 확장성과 성능을 평가하고자 한다.
• 해석 가능하고 낮은 복잡도의 기계학습 모델링을 위한 새로운 기준을 설정하고자 하며, 정확도와 모델의 해석 가능성 사이의 격차를 메우고자 한다.

제안 방법

• 저자들은 CIFAR-10 이미지에 대해 Canny 에지 검출, Otsu의 임계처리, 적응형 가우시안 임계처리, 색상 온도계 등 다양한 이미지 처리 기법을 각각 적용하는 22개의 TM 전문가를 설계한다.
• 각 TM 전문가는 가변적인 클라우즈 수(8,000에서 64,000까지)를 가진 컨volutional Tsetlin Machine(CTM) 아키텍처를 사용하여 확장성을 평가한다.
• 각 전문가의 Tsetlin Machine 파라미터(예: 임계값 T, 스케일링 인자 s)에 대한 최적의 값을 도출하기 위해 Optuna 최적화 프레임워크를 활용한 초기화수치 검색을 수행한다.
• TM 컴포지트 아키텍처는 다수의 훈련된 TM 전문가를 투표 메커니즘을 통해 통합하며, 각 전문가가 예측을 내고 최종 클래스는 다수결 투표 방식으로 결정된다.
• 모델 용량이 정확도에 미치는 영향을 분석하기 위해 클라우즈 수(8K에서 64K)를 다양하게 설정하여 TM 컴포지트의 성능을 평가한다.
• 일부 설정에서는 일반화 성능 향상을 위해 데이터 증강을 포함하며, 증강된 데이터와 증강되지 않은 데이터 모두에 대해 결과를 보고한다.

실험 결과

연구 질문

• RQ1 다양한 이미지 처리 기법의 조합이 Canny 에지 검출, 방향성 기울기 히스토그램 등과 같은 색상 이미지 분류 작업에서 Tsetlin Machine의 정확도를 크게 향상시킬 수 있는가?
• RQ2 각 TM 전문가에 대해 다양한 이미지 처리 파이프라인에 적용했을 때, 최적의 초깃값 설정(T, s, 클라우즈 수 등)은 무엇인가?
• RQ3 각 TM 전문가의 클라우즈 수가 CIFAR-10에서 TM 컴포지트의 전체 정확도에 미치는 영향은 어떠한가?
• RQ4 TM 컴포지트 아키텍처는 기존의 최고 성능을 기록한 TM 기반 모델보다 CIFAR-10에서 정확도 및 해석 가능성 측면에서 뛰어나게 성능을 발휘할 수 있는가?
• RQ5 색상 온도계나 적응형 임계처리와 같은 특정 이미지 처리 기법이 여러 TM 전문가 설정에서 일관되게 높은 성능을 내는가?

주요 결과

• 64,000개의 클라우즈를 가진 22개의 TM 전문가로 구성된 TM 컴포지트는 CIFAR-10에서 82.8%의 새로운 최고 성능을 달성한다.
• 최고 성능을 기록한 단일 TM 전문가인 5x5 색상 온도계(64,000개 클라우즈)는 75.4%의 정확도를 기록하여 이전 최고 성능인 75.1%를 초월한다.
• TM 컴포지트의 정확도는 클라우즈 수가 32,000개까지 증가함에 따라 상승하며(82.7%), 64,000개에 이르러도 정확도가 82.8%로 약간 뿐이 증가하여 일정 수준 이상에서는 수익 감소 현상이 나타남을 시사한다.
• Optuna를 통한 초깃값 수색은 다수의 TM 전문가에 대해 강건하고 효과적인 설정을 도출하였으며, 클라우즈 수가 증가할수록 정확도가 지속적으로 향상되었지만, 방향성 기울기 히스토그램 및 그 증강 버전은 32,000개 클라우즈 이후에 정체됨을 확인하였다.
• 최적화된 초깃값 설정을 적용한 색상 온도계와 적응형 가우시안 임계처리는 이전의 TM 연구에서 보고된 결과보다 높은 정확도를 기록하였다.
• TM 컴포지트 아키텍처는 다양한 이미지 처리 파이프라인을 하나의 고성능 앙상블로 효과적으로 통합하여 확장성과 효능을 입증하였다.