[論文レビュー] Matlab vs. OpenCV: A Comparative Study of Different Machine Learning Algorithms

Ahmed A. Elsayed, Waleed A. Yousef|arXiv (Cornell University)|May 3, 2019

Machine Learning and Data Classification被引用数 7

ひとこと要約

この論文は、UCI機械学習レポジトリの20の実世界の機械学習データセットに対して、10種類の異なるアルゴリズムを用いてMatlabとOpenCVの実行速度を比較している。OpenCVは一貫してMatlabを上回っており、一部のケースでは80倍以上の高速化を達成している。これは、高レベルの環境（Matlabなど）に比べて、ネイティブC++実装が特に機械学習やコンピュータビジョン分野の計算負荷の高いタスクにおいて顕著に高速なパフォーマンスを発揮することを示している。

ABSTRACT

Scientific Computing relies on executing computer algorithms coded in some programming languages. Given a particular available hardware, algorithms speed is a crucial factor. There are many scientific computing environments used to code such algorithms. Matlab is one of the most tremendously successful and widespread scientific computing environments that is rich of toolboxes, libraries, and data visualization tools. OpenCV is a (C++)-based library written primarily for Computer Vision and its related areas. This paper presents a comparative study using 20 different real datasets to compare the speed of Matlab and OpenCV for some Machine Learning algorithms. Although Matlab is more convenient in developing and data presentation, OpenCV is much faster in execution, where the speed ratio reaches more than 80 in some cases. The best of two worlds can be achieved by exploring using Matlab or similar environments to select the most successful algorithm; then, implementing the selected algorithm using OpenCV or similar environments to gain a speed factor.

研究の動機と目的

• MatlabとOpenCVを用いたさまざまな機械学習アルゴリズムの実行速度を評価・比較すること。
• 大規模なデータセットや多数の実験をスケーリングする際、Matlabのような高レベルの科学計算環境に生じるパフォーマンスのボトルネックを特定すること。
• アルゴリズム選定後、最終的な機械学習モデルのデプロイメントにネイティブC++ライブラリ（OpenCVなど）を採用する根拠を実証的に提示すること。
• 研究者や実務家が、開発のしやすさ（Matlab）と実行時の効率（OpenCV）の両者を、プロジェクトの段階やパフォーマンス要件に応じて適切に選択できるように支援すること。

提案手法

• 本研究では、UCI機械学習レポジトリの20の実世界データセットを対象に、分類木、ナイーブベイズ、ブースティング、ランダムフォレスト、KNNの10種類の機械学習アルゴリズムを評価した。
• 各アルゴリズムについて、MatlabとOpenCV（C++）の両方で同等の実装を構築し、プラットフォーム間での特徴量とハイパーパrameterの同等性を保証した。
• 各アルゴリズム-データセットの組み合わせについて1000回の実行を測定し、統計的安定性と収束性を確保した。
• 相対的な速度を比較するために、実行時間の対数（Matlabの実行時間 ÷ OpenCVの実行時間）を計算し、可視化した。
• 特にKNNにおいて性能に顕著な差が見られたことから、データセット固有の要因（特徴量次元数、サンプル数、訓練セットの使用方法）を分析した。
• 言語や環境の影響を隔離するために、標準化されたデータフォーマットを用い、両プラットフォーム間で一貫した前処理とモデル設定を確保した。

実験結果

リサーチクエスチョン

• RQ1 MatlabとOpenCVは、多様な実世界のデータセットにおける一般的な機械学習アルゴリズムの実行速度でどのように比較されるか？
• RQ2 高レベルの環境（Matlab）と低レベルの最適化済みライブラリ（OpenCV）との間のパフォーマンスギャップに影響を与える要因は何か？
• RQ3 どのような状況でMatlabがOpenCVを上回り、逆にOpenCVが優勢となるのか？
• RQ4 アルゴリズムの複雑さ、データセットのサイズ、特徴量次元数が、MatlabとOpenCVの相対的パフォーマンスにどのように影響を与えるか？
• RQ5 次元削減やKNNにおける効率的なデータ構造の適用といったアルゴリズム固有の最適化によって、パフォーマンスギャップを緩和できるか？

主な発見

• OpenCVは20のデータセットおよび10のアルゴリズムすべてにおいて、Matlabを上回る実行速度を示しており、一部のケースでは80倍以上の高速化が達成された。
• ペン入力認識データセットにおけるKNNアルゴリズムは、唯一、MatlabがOpenCVを上回ったケースであり、高次元性と訓練セットの特性の相互作用が原因とされる。
• Arcene（10,000の特徴量）のような高次元データセットに対しては、次元数を16に削減することでパフォーマンスギャップが著しく縮小し、対数比は0.8から0.5に低下した。
• Madelon（500の特徴量）のようなデータセットでも、16次元に削減するとパフォーマンスギャップは対数比0.9から0.06にまで低下し、次元数が相対的パフォーマンスに強い影響を与えることが示された。
• 本研究では、OpenCVのC++ベース実装が、特にモデル学習や推論といった計算負荷の高いタスクにおいて優れたランタイム効率を発揮することを確認した。
• 結果は、Matlabを用いた迅速なプロトタイピングとモデル選定の後、最終的なモデルをOpenCVに再実装することで最適な速度を達成できる二段階ワークフローの有効性を支持している。