[論文レビュー] An Open Source Pattern Recognition Toolbox for MATLAB

Kenneth D. Morton, Peter A. Torrione+2 more|arXiv (Cornell University)|Jun 21, 2014

Machine Learning and Data Classification参考文献 5被引用数 7

ひとこと要約

PRT（Pattern Recognition Toolbox）は、オープンソースでMITライセンスのMATLABツールボックスであり、パターン認識および機械学習アルゴリズムの迅速なプロトタイピングと評価のための統一的でオブジェクト指向のフレームワークを提供する。このツールボックスは、一貫した構文を用いて前処理、分類、回帰、特徴選択の手法をシームレスに組み合わせることができ、交差検証および可視化の組み込みサポートを備えており、フェイザーのアヤメデータセットを用いた高性能な分類器の比較によって実証されている。

ABSTRACT

Pattern recognition and machine learning are becoming integral parts of algorithms in a wide range of applications. Different algorithms and approaches for machine learning include different tradeoffs between performance and computation, so during algorithm development it is often necessary to explore a variety of different approaches to a given task. A toolbox with a unified framework across multiple pattern recognition techniques enables algorithm developers the ability to rapidly evaluate different choices prior to deployment. MATLAB is a widely used environment for algorithm development and prototyping, and although several MATLAB toolboxes for pattern recognition are currently available these are either incomplete, expensive, or restrictively licensed. In this work we describe a MATLAB toolbox for pattern recognition and machine learning known as the PRT (Pattern Recognition Toolbox), licensed under the permissive MIT license. The PRT includes many popular techniques for data preprocessing, supervised learning, clustering, regression and feature selection, as well as a methodology for combining these components using a simple, uniform syntax. The resulting algorithms can be evaluated using cross-validation and a variety of scoring metrics to ensure robust performance when the algorithm is deployed. This paper presents an overview of the PRT as well as an example of usage on Fisher's Iris dataset.

研究の動機と目的

• パターン認識および機械学習のための自由に利用可能で包括的かつ良好に統合されたMATLABツールボックスの不足に対処すること。
• 複雑な機械学習パイプラインの迅速な開発と評価を簡素化する、統一的で拡張可能なフレームワークを提供すること。
• 研究者や実務家が一貫したインターフェースと組み込み評価指標を用いて、さまざまなアルゴリズム的手法を簡単に比較・統合・検証できるようにすること。
• 許可が緩いライセンスとGitHubホスティングを通じたオープンコラボレーションを支援し、コミュニティの貢献と拡張性を促進すること。

提案手法

• PRTは、データとラベルを管理するためのprtDataSetクラスを核とするオブジェクト指向設計を採用しており、分類用（prtDataSetClass）および回帰用（prtDataSetRegress）のサブクラスを備える。
• 機械学習のコンponentsは、prtActionオブジェクトとしてカプセル化され、それぞれtrainおよびrunメソッドを実装しており、モジュラーで合成可能なアルゴリズム構築を可能にする。
• prtAlgorithmsは、+（逐次）および/（並列）演算子を用いてprtActionオブジェクトを組み合わせることで構築され、前処理 followed by 分類のような複雑なマルチステージワークフローの実現が可能となる。
• 交差検証はkfoldsメソッドを通じてネイティブにサポートされており、最小限のコード変更で堅牢な性能評価が可能となる。
• 可視化は、データの射影、意思決定領域、ROC曲線のプロットを可能にする組み込み関数を介して統合されている。
• このツールボックスは、SVM、RVM、ランダムフォレスト、PLSDA、PCA、ZMUV正規化、特徴選択など、幅広い標準的手法を一様なAPIからアクセス可能にしている。

実験結果

リサーチクエスチョン

• RQ1 統一的で合成可能なフレームワークは、MATLABにおける機械学習アルゴリズムのプロトタイピングと評価の効率をどのように向上させるか？
• RQ2 オープンソースで許可が緩いライセンスのツールボックスは、学術的および産業的研究所におけるアルゴリズム開発と比較の障壁をどの程度低減できるか？
• RQ3 一貫性のあるオブジェクト指向APIは、前処理、分類、特徴選択などの多様なパターン認識手法の統合をどのように簡素化できるか？
• RQ4 PRTは、ベンチマークデータセット上でさまざまな分類器に対して交差検証と性能評価をどの程度効果的にサポートできるか？
• RQ5 モジュラーで合成可能な設計は、機械学習ツールボックスの保守性と拡張性にどのような影響を及えるか？

主な発見

• PRTは、+および/演算子によるアクションの逐次的および並列的合成を通じて、単純で一貫した構文で複雑な機械学習パイプラインを迅速に構築できる。
• kfoldsメソッドを用いた交差検証がネイティブにサポートされており、アヤメデータセットにおけるMAPおよびRVM分類器の堅牢な性能評価が可能となった。
• MAPおよびRVM分類器の意思決定領域とROC曲線が可視化され、比較されたことで、ツールボックスの結果解釈および可視化支援の強力な能力が実証された。
• ZMUV正規化とPCA前処理を組み合わせることで、PRTはアヤメデータセットにおいて効果的な次元削減と分類性能を達成した。
• SVM、RVM、ランダムフォレスト、PLSDAといった標準的手法が、単一で一貫したインターフェース内でシームレスに統合可能である。
• PRTのオープンソースでMITライセンスである性質は、GitHubおよび専用フォーラムを通じた活発な開発とサポートによって裏付けられ、コミュニティの貢献と長期的な拡張性を促進している。