[論文レビュー] MatConvNet - Convolutional Neural Networks for MATLAB

Andrea Vedaldi, Karel Lenc|arXiv (Cornell University)|Dec 15, 2014

Advanced Neural Network Applications参考文献 10被引用数 627

ひとこと要約

MatConvNet は、単純性、柔軟性、効率性を重視した MATLAB ベースのツールボックスであり、畳み込みニューラルネットワーク (CNN) を実装する。CNN のコア演算である畳み込み、プーリング、活性化のためのハイレベル関数を提供し、新しいアーキテクチャの迅速なプロトタイピングを可能にするとともに、CPU および GPU での高速トレーニングを可能にし、ImageNet ILSVRC などの大規模データセットに対応する。

ABSTRACT

MatConvNet is an implementation of Convolutional Neural Networks (CNNs) for MATLAB. The toolbox is designed with an emphasis on simplicity and flexibility. It exposes the building blocks of CNNs as easy-to-use MATLAB functions, providing routines for computing linear convolutions with filter banks, feature pooling, and many more. In this manner, MatConvNet allows fast prototyping of new CNN architectures; at the same time, it supports efficient computation on CPU and GPU allowing to train complex models on large datasets such as ImageNet ILSVRC. This document provides an overview of CNNs and how they are implemented in MatConvNet and gives the technical details of each computational block in the toolbox.

研究の動機と目的

• 畳み込みニューラルネットワークを実装するための柔軟で使いやすい MATLAB ツールボックスを提供すること。
• ハイレベルでモジュラーな関数を通じて、新しい CNN アーキテクチャの迅速なプロトタイピングを支援すること。
• 大規模なデータセットでの複雑なモデルのトレーニングを効率的に行えるよう、CPU および GPU での計算を支援すること。
• 畳み込みやプーリングなどの基本的な CNN ビルディングブロックを、使いやすい MATLAB 関数として公開すること。
• 使いやすさとパフォーマンスを組み合わせることで、研究用プロトタイピングと本番環境でのトレーニングのギャップを埋めること。

提案手法

• ツールボックスは、低レベルの詳細を抽象化するため、CNN レイヤーを MATLAB 関数として実装している。
• 最適化されたカーネルを介して CPU および GPU の計算をサポートしており、大規模なデータセットでの効率的なトレーニングを可能にしている。
• 主な演算には、学習可能なフィルターバンクを備えた線形畳み込み、空間的およびチャネルワイドのプーリング、活性化関数が含まれる。
• アーキテクチャはモジュラーであり、研究者がレイヤーを組み合わせてカスタム CNN を構築できる。
• MATLAB のエコシステムと統合されており、データ読み込み、モデル定義、トレーニングループのサポートが可能である。
• 実装は拡張可能に設計されており、新しいレイヤーや演算の実験を容易にする。

実験結果

リサーチクエスチョン

• RQ1 MATLAB ベースのツールボックスは、どのようにして深層 CNN の迅速なプロトタイピングと効率的なトレーニングを両立できるか？
• RQ2 CPU および GPU での高いパフォーマンスを実現しながら、コードの単純性を維持するためのアーキテクチャ的選択は何か？
• RQ3 ハイレベルな MATLAB インターフェースは、大規模な CNN トレーニングにおいて、低レベルの C++ フレームワークと同等のパフォーマンスを達成できるか？
• RQ4 ImageNet ILSVRC のようなベンチマークデータセット上で、このツールボックスはどのようにして複雑な CNN アーキテクチャを効果的にサポートできるか？
• RQ5 研究者が新しいネットワーク設計を実験する際に、計算効率を損なわずにどの程度の抽象化レベルが可能か？

主な発見

• MatConvNet は、MATLAB におけるハイレベルでモジュラーな関数を通じて、新しい CNN アーキテクチャの迅速なプロトタイピングを可能にする。
• ツールボックスは、CPU および GPU での効率的なトレーニングをサポートしており、ImageNet ILSVRC のような大規模なデータセットに適している。
• 畳み込みやプーリングなどのコア CNN 演算が、再利用可能で良好にドキュメント化された関数として公開されている。
• 実装は低レベルのフレームワークと同等のパフォーマンスを維持しながら、研究者にとっての使いやすさを向上させている。
• 拡張可能で柔軟なアーキテクチャのおかげで、新規なネットワーク設計の実験が容易になる。
• 広く使われている科学計算環境において、研究用プロトタイピングと本番環境トレーニングのギャップを効果的に埋めている。