[論文レビュー] An Optimized Toolbox for Advanced Image Processing with Tsetlin Machine Composites

Ylva Grønningsæter, Halvor S. Smørvik+1 more|arXiv (Cornell University)|Jun 2, 2024

Brain Tumor Detection and ClassificationNeuroscience被引用数 3

ひとこと要約

本論文は、Cannyエッジ検出、方向勾配のヒストグラム、カラーテルモメーターなどの高度な画像処理技術を組み合わせ、Optunaを用いた厳密なハイパーパrameter探索を活用した22個のTsetlin Machine (TM)スペシャリストからなる新規ツールボックスを紹介する。得られたTMコンポジットアーキテクチャは、CIFAR-10で82.8%の新たなSOTA精度を達成し、従来のTMベースの手法よりも7.7ポイントも顕著に上回った。

ABSTRACT

The Tsetlin Machine (TM) has achieved competitive results on several image classification benchmarks, including MNIST, K-MNIST, F-MNIST, and CIFAR-2. However, color image classification is arguably still in its infancy for TMs, with CIFAR-10 being a focal point for tracking progress. Over the past few years, TM's CIFAR-10 accuracy has increased from around 61% in 2020 to 75.1% in 2023 with the introduction of Drop Clause. In this paper, we leverage the recently proposed TM Composites architecture and introduce a range of TM Specialists that use various image processing techniques. These include Canny edge detection, Histogram of Oriented Gradients, adaptive mean thresholding, adaptive Gaussian thresholding, Otsu's thresholding, color thermometers, and adaptive color thermometers. In addition, we conduct a rigorous hyperparameter search, where we uncover optimal hyperparameters for several of the TM Specialists. The result is a toolbox that provides new state-of-the-art results on CIFAR-10 for TMs with an accuracy of 82.8%. In conclusion, our toolbox of TM Specialists forms a foundation for new TM applications and a landmark for further research on TM Composites in image analysis.

研究の動機と目的

• CIFAR-10を含む色画像分類タスクにおけるTsetlin Machineの性能を向上させること。これは、単純なベンチマークでは進展を遂げているものの、依然として未開拓の分野である。
• 多様な画像処理技術を用いたモジュラーかつ即席のTMスペシャリストツールボックスを構築し、分類の前段階で特徴表現を向上させること。
• 各TMスペシャリストの最適な構成を特定するために、Optunaを用いた包括的なハイパーパrameter探索を実施し、精度と耐性を最大化すること。
• スペシャリスト1人あたりのクラウーズ数を変化させることで、TMコンポジットのスケーラビリティと性能を評価し、精度のトレンドを分析すること。
• CIFAR-10における解釈可能で低複雑性の機械学習の新しいベンチマークを確立し、精度とモデルの解釈可能性のギャップを埋めること。

提案手法

• 著者らは、Cannyエッジ検出、Otsuのしきい値処理、適応ガウスしきい値処理、カラーテルモメーターなどを含む、異なる画像処理技術を適用する22のTMスペシャリストを設計した。これらの処理をCIFAR-10画像に適用した後、TM分類を実行する。
• 各TMスペシャリストは、スケーラビリティを評価するために、8,000～64,000のクラウーズ数を自由に設定可能な、畳み込みTsetlin Machine (CTM)アーキテクチャで訓練された。
• 各スペシャリストのTsetlin Machineのパrameter（しきい値パラメータTやスケーリング係数sなど）の最適値を特定するために、Optuna最適化フレームワークを用いたハイパーパrameter探索を実施した。
• TMコンポジットアーキテクチャは、複数の訓練済みTMスペシャリストを投票メカニズムで統合し、各スペシャリストが予測を出力し、最終的なクラスは過半数の投票で決定される。
• モデル容量が精度および収束に与える影響を分析するために、クラウーズ数（8K～64K）を変化させた状態でTMコンポジットの性能を評価した。
• 一部の構成ではデータオーグメンテーションを導入し、汎化性能を向上させた。その結果、オーグメンテーションあり・なしの両方のデータに対して報告された。

実験結果

リサーチクエスチョン

• RQ1 多様な画像処理技術の組み合わせが、CIFAR-10のような色画像分類タスクにおけるTsetlin Machineの精度を顕著に向上させ得るか？
• RQ2 異なる画像処理パイプラインに適用する際、各TMスペシャリストの最適なハイパーパrameter構成（例：T, s, クラウーズ数）は何か？
• RQ3 TMスペシャリスト1人あたりのクラウーズ数が、CIFAR-10におけるTMコンポジット全体の精度にどのように影響するか？
• RQ4 TMコンポジットアーキテクチャは、精度と解釈可能性の観点から、従来のSOTAのTMベースのモデルを上回る性能を示せるか？
• RQ5 カラーテルモメーター や適応しきい値処理といった特定の画像処理技術が、複数のTMスペシャリスト構成において一貫して高い性能を発揮するか？

主な発見

• 22のTMスペシャリストで構成されるTMコンポジットは、各スペシャリストを64,000のクラウーズで訓練し、最適化されたハイパーパrameterを適用することで、CIFAR-10で82.8%という新たなSOTA精度を達成した。
• 最高性能を示した個々のTMスペシャリストは、5x5カラーテルモメーターで64,000のクラウーズを用いたもので、75.4%の精度を達成し、以前のSOTA（75.1%）を上回った。
• TMコンポジットの精度はクラウーズ数が32,000まで上昇し、82.7%に達するが、64,000クラウーズではわずかに82.8%に上昇するにとどまり、ある容量を超えると収益が減少する傾向が見られた。
• Optunaを用いたハイパーパラメータ探索により、複数のTMスペシャリストに対して堅牢で効果的な構成が特定された。クラウーズ数が増加するにつれて精度が一貫して向上したが、方向勾配のヒストグラムおよびそのオーグメンテーション版を除き、32,000クラウーズを過ぎると収束した。
• 最適化されたハイパーパラメータを用いたカラーテルモメーターおよび適応ガウスしきい値処理は、以前のTM研究で報告された結果よりも高い精度を達成した。
• TMコンポジットアーキテクチャは、多様な画像処理パイプラインを統合し、1つの高性能アンサンブルとして効果的に統合した。これは、スケーラビリティと性能向上の両面で有効であることを示した。