[論文レビュー] Spatially-sparse convolutional neural networks

Benjamin Graham|arXiv (Cornell University)|Sep 22, 2014

Advanced Neural Network Applications参考文献 12被引用数 197

ひとこと要約

この論文は、オンライン手書きの1画素幅のペンストロークやパディング済み画像などの入力におけるスパarsityを活用する空間的スパース畳み込みニューラルネットワーク（CNN）を提案する。スパース計算を活用することで、深層CNNの学習と推論を顕著に高速化でき、より深いアーキテクチャの効率的学習を可能にし、最先端の結果を達成する。CASIA-OLHWDB1.1では3.82%のテスト誤差、CIFAR-10では6.28%を記録し、同程度または低コストな計算コストで先行手法を上回った。

ABSTRACT

Convolutional neural networks (CNNs) perform well on problems such as handwriting recognition and image classification. However, the performance of the networks is often limited by budget and time constraints, particularly when trying to train deep networks. Motivated by the problem of online handwriting recognition, we developed a CNN for processing spatially-sparse inputs; a character drawn with a one-pixel wide pen on a high resolution grid looks like a sparse matrix. Taking advantage of the sparsity allowed us more efficiently to train and test large, deep CNNs. On the CASIA-OLHWDB1.1 dataset containing 3755 character classes we get a test error of 3.82%. Although pictures are not sparse, they can be thought of as sparse by adding padding. Applying a deep convolutional network using sparsity has resulted in a substantial reduction in test error on the CIFAR small picture datasets: 6.28% on CIFAR-10 and 24.30% for CIFAR-100.

研究の動機と目的

• 高解像度またはスパースな入力（例：オンライン手書きデータ）に対する深層CNNの学習における計算非効率性を解消すること。
• スパarsityを活用することで、学習および推論時間を短縮し、より深い、より正確なCNNアーキテクチャの使用を可能にすること。
• スパarsityとデータ拡張、より深いネットワーク設計を組み合わせることで、画像認識タスクの性能を向上させること。
• パディングを追加することで、非スパースな画像に対してもスパースCNNを適用可能とする可能性を検討すること。

提案手法

• 空間的スパarsityを早期層で維持できるように設計された、新しい深層CNNの族であるDeepCNet(ℓ,k)を採用。3×3と2×2のマックスプーリング層を交互に配置。
• ゼロ値の計算をスキップするスパーステンソル演算を用いてスパarsityを活用し、FLOPsとメモリ使用量を顕著に削減。
• 入力を高解像度のキャンバス上の1画素幅のペンストロークなどのスパースバイナリグリッドとして表現し、大規模な入力サイズでも効率的な処理を可能にする。
• アフィン変換とパディングによるデータ拡張をサポートし、ネットワーク全体でスパarsityを維持。
• スパarsityを保持したまま特徴学習を向上させるために、ネットワークインネットワーク層を統合した改良版ネットワーク、DeepCNiNを導入。
• パディングを用いることで、非スパースな画像をスパースとして扱い、効率的なフルモード畳み込みを可能とする。

実験結果

リサーチクエスチョン

• RQ1 入力データのスパarsityを活用することで、より深い、より正確なCNNの効率的学習が可能か？
• RQ2 スパarsityは、オンライン手書き認識タスクにおける深層CNNの性能と学習速度にどのように影響するか？
• RQ3 スパースCNNは、CIFAR-10 や CIFAR-100 といった標準的な画像ベンチマークで最先端の結果を達成できるか？
• RQ4 スパarsityにより、計算コストを増加させることなく、平行移動やアフィン変換などのより柔軟なデータ拡張戦略が可能か？
• RQ5 スパースCNNは、3次元オブジェクトや時空間軌道といった高次元データへ拡張可能か？

主な発見

• 3755文字クラスを有するCASIA-OLHWDB1.1データセットにおいて、DeepCNet(6,100)を用いて3.82%のテスト誤差を達成。先行研究を上回った。
• ICDAR2013中国語手書き認識コンテストにおいて、2.61%のテスト誤差を記録し、1位を獲得。2位のエントリ（3.13%）を上回った。
• MNISTでは、DeepCNet(5,10)が0.58%のテスト誤差を達成。ドロップアウトを適用したより深いDeepCNet(5,60)は0.31%の誤差を記録し、スパース計算による高い精度を示した。
• CIFAR-10では、DeepCNiN(5,300)を用いて6.28%のテスト誤差を達成。ベースライン結果を改善し、非スパースベースラインと比較して2.53%の誤差低減を達成。
• CIFAR-100では、24.30%のテスト誤差を達成。ベースラインのDeepCNetでは29.81%、非拡張ベースラインでは35.68%であったことと比較し、顕著な改善を示した。
• 単一GPUで1秒間に3000文字のリアルタイム推論が可能であり、低消費電力デバイスにおける実用的効率性を示した。