[論文レビュー] Highly Efficient Forward and Backward Propagation of Convolutional Neural Networks for Pixelwise Classification

Hongsheng Li, Rui Zhao+1 more|arXiv (Cornell University)|Dec 15, 2014

Advanced Image and Video Retrieval Techniques参考文献 14被引用数 68

ひとこと要約

この論文は、重複する画像パッチ間の冗長計算を排除することで、畳み込みニューラルネットワーク（CNN）のピクセル単位分類タスクにおける前向き伝搬および逆向き伝搬のアルゴリズムを大幅に効率化することを提案している。d-正則なスパースカーネルを用いることで、GPUの連続的なメモリアクセスを可能にし、パッチ単位の走査と比較して前向き伝搬および逆向き伝搬の両方で1,500倍以上の高速化を達成した。画像サイズやパッチサイズが大きくなるほどさらなる高速化が得られる。

ABSTRACT

We present highly efficient algorithms for performing forward and backward propagation of Convolutional Neural Network (CNN) for pixelwise classification on images. For pixelwise classification tasks, such as image segmentation and object detection, surrounding image patches are fed into CNN for predicting the classes of centered pixels via forward propagation and for updating CNN parameters via backward propagation. However, forward and backward propagation was originally designed for whole-image classification. Directly applying it to pixelwise classification in a patch-by-patch scanning manner is extremely inefficient, because surrounding patches of pixels have large overlaps, which lead to a lot of redundant computation. The proposed algorithms eliminate all the redundant computation in convolution and pooling on images by introducing novel d-regularly sparse kernels. It generates exactly the same results as those by patch-by-patch scanning. Convolution and pooling operations with such kernels are able to continuously access memory and can run efficiently on GPUs. A fraction of patches of interest can be chosen from each training image for backward propagation by applying a mask to the error map at the last CNN layer. Its computation complexity is constant with respect to the number of patches sampled from the image. Experiments have shown that our proposed algorithms speed up commonly used patch-by-patch scanning over 1500 times in both forward and backward propagation. The speedup increases with the sizes of images and patches.

研究の動機と目的

• 重複するパッチによる大規模な冗長計算が生じるため、CNNベースのピクセル単位分類におけるパッチ単位走査の非効率性を解消すること。
• 画像セグメンテーション、オブジェクト検出、シーンラベリングなどのリアルタイム応用における性能ボトルネック（高い計算コスト）を克服すること。
• 大規模スケールでの逆向き伝搬の計算可能性を確保することで、ピクセル単位タスク向けに効率的でエンドツーエンドのCNN学習を可能にすること。
• さまざまなCNNアーキテクチャおよびプーリング/畳み込み設定と互換性を持つ汎用的ソリューションを提供すること。特に大規模な画像やパッチに対して有効である。
• 高速で定数時間計算量の逆向き伝搬を可能にすることで、動的で誤差誘導型のトレーニングパッチ選択を可能にすること。

提案手法

• 任意のストライドを持つ標準的な畳み込みおよびプーリング演算を、d-正則なスパースカーネルによって再構成し、等価な1ストライド演算に変換することで、冗長性を排除する。
• 重複するパッチに由来する規則的なスパarsityパターンを活用し、GPU上での連続的メモリアクセス操作として畳み込みおよびプーリングを再定式化する。
• 最終的なCNN層の誤差マップにマスクを適用することで、逆向き伝搬においてパッチの一部のみを効率的にサンプリングし、計算量を一定に保つ。
• カーネル再構成およびメモリアクセス最適化により、正確な勾配計算を維持することで、パッチ単位走査と数値的に同等の結果を実現する。
• 帯域幅の効率的利用を最大化し、遅延を最小限に抑えるために、GPUに最適化されたカーネルを設計する。
• d-正則なスパースフレームワークを用いて、入力パッチサイズやネットワークアーキテクチャの動的調整が可能であり、任意のサイズと構成をサポートする。

実験結果

リサーチクエスチョン

• RQ1 ピクセル単位分類における重複する画像パッチに対して、CNNの前向き伝搬および逆向き伝搬における冗長計算を完全に排除する方法は何か？
• RQ2 数値的正確性を損なわずに、多様なCNNアーキテクチャやパッチサイズに適応可能な汎用的アルゴリズムを設計できるか？
• RQ3 最適化されたカーネル構造およびメモリアクセスパターンを用いることで、ピクセル単位分類における前向きおよび逆向き伝搬の最大速度向上率はどの程度か？
• RQ4 誤差マップのマスクを用いることで、選択されたパッチ数に依存しない逆向き伝搬を実現できるか？これにより大規模データセットでの効率的学習が可能になるか？
• RQ5 提案手法は画像サイズやパッチサイズの増大に伴いどの程度スケーリング可能か？実際の運用において、標準的なパッチ単位走査手法と比較してどのように差がつくか？

主な発見

• 提案手法は、パッチ単位走査と比較して、前向き伝搬および逆向き伝搬の両方で1,500倍以上の高速化を達成しており、複数の画像サイズおよびパッチサイズで検証済みである。
• 画像サイズおよびパッチサイズが大きくなるほど速度向上が顕著に増加し、$644 \times 644$ の画像に $133 \times 133$ のパッチを適用した場合、1,815.9倍の高速化を達成した。
• 誤差マップのマスクを用いた逆向き伝搬は、選択されたパッチ数（128、512、1024ピクセル）に関係なく定数計算量を維持しており、部分集合での効率的学習を可能にしている。
• 提案手法とパッチ単位走査との間の数値差は$10^{-6}$未満であり、勾配計算の正確な同等性が確認された。
• GPU上での連続的メモリアクセスを実現し、帯域幅の利用効率を著しく向上させ、特に大規模な推論および学習において遅延を低減した。
• 3D畳み込みおよびプーリングを動画解析に応用可能なフレームワークとして拡張可能であり、ここでは冗長性がさらに高いため、時間的タスクにおいてさらに大きな高速化が期待できる。