[論文レビュー] Fast Image Scanning with Deep Max-Pooling Convolutional Neural Networks

Alessandro Giusti, Dan Cireşan+3 more|arXiv (Cornell University)|Feb 7, 2013

Image and Signal Denoising Methods参考文献 3被引用数 53

ひとこと要約

本論文では、スライディングウィンドウ推論中に重複する畳み込みを排除することで、深層マックスプーリング畳み込みニューラルネットワークの推論を高速化する動的計画法に基づく画像スキャン手法を提案する。マックスプーリング層の出力を断片化することで、全画像にわたる完全な空間的カバレッジを維持し、全画像にわたって非重複的な効率的な順方向伝搬を可能にする。実際には、最適化されたGPUベースのパッチ単位処理手法よりも最大32倍の高速化を達成しており、大規模ネットワークでは理論的にはほぼ3桁の高速化が可能である。

ABSTRACT

Deep Neural Networks now excel at image classification, detection and segmentation. When used to scan images by means of a sliding window, however, their high computational complexity can bring even the most powerful hardware to its knees. We show how dynamic programming can speedup the process by orders of magnitude, even when max-pooling layers are present.

研究の動機と目的

• 画像分類およびオブジェクト検出のための深層畳み込みニューラルネットワークにおけるスライディングウィンドウ推論の高い計算コストに対処すること。
• 重複する画像パッチ間で再計算される畳み込みを無駄に繰り返すナーブなパッチ単位評価の非効率性を克服すること。
• 畳み込み層とマックスプーリング層が任意に混合されたアーキテクチャに対しても、正確性を損なわず一般化可能な手法を開発すること。
• 全画像にわたる特徴マップ計算を最小限に抑えることで、大規模画像におけるリアルタイムまたはニアリアルタイム推論を可能にすること。
• CPUベースのパッチ処理手法および高度に最適化されたGPUベースのパッチ実装と比較して顕著な高速化を示すこと。

提案手法

• 重複するパッチごとに畳み込みを再計算するのではなく、入力画像1枚につき1回の畳み込み計算で済ませる、新しい画像ベースの順方向伝搬戦略を提案する。
• すべてのパッチが拡張された特徴マップに含まれるよう、マックスプーリング層出力の断片化技術を導入する。
• マックスプールドマップの各断片を独立したサブマップとして扱い、すべての可能なパッチ位置の空間情報を保持する。
• すべてのマックスプーリング層における断片の集合が、入力画像のすべての可能なパッチについて完全な情報を含むように保証する。
• 再計算を伴わず、1回のパスで全入力画像にわたって、すべての畳み込み層およびマックスプーリング層を順方向に伝搬する。
• 動的計画法の原則を用いて、全画像にわたる特徴マップを体系的に計算・伝搬し、重複演算を回避する。

実験結果

リサーチクエスチョン

• RQ1 深層CNNを用いた大規模画像スキャンにおいて、スライディングウィンドウ処理で重複する畳み込み計算をどのように排除できるか。
• RQ2 すべての可能なパッチに関する情報を失うことなく、スライディングウィンドウ設定下でマックスプーリング層を効率的に処理する方法は何か。
• RQ3 任意の畳み込み層とマックスプーリング層の混合アーキテクチャに適用可能な、一般化されたパッチ非依存の順方向伝搬手法を設計できるか。
• RQ4 パッチベースの手法と比較して、画像全体の計算がFLOPSおよび推論時間にどの程度削減できるか。
• RQ5 特に実用的性能向上の観点から、高度に最適化されたGPUベースのパッチ実装と比較して、提案手法はどの程度高速化されるか。

主な発見

• 提案手法の画像ベースのアプローチは、神経膜分離に使用された大規模ネットワークにおいて、パッチベース手法と比較してFLOPSを779.8倍削減した。
• MATLABで実装された単純な画像ベース手法は、512×512の画像において、高度に最適化されたGPUベースのパッチ実装よりも32.8倍高速であった。
• ISBIエレクトロンマイクロスコピー分離チャレンジで使用されたような大規模ネットワークでは、ほぼ理論上の最適化速度（ほぼ3桁の高速化）を達成した。
• このアプローチは正確であり、パッチベース手法と同一の結果を生成するため、最適化の影響で正確性が損なわれない。
• 従来、画像全体の計算を妨げるとされていたマックスプーリング層も、断片処理により完全な空間的カバレッジを維持しながら効果的に処理できる。
• MATLABのような高水準言語でも高速化が安定して得られるため、性能向上は低レベル最適化ではなくアルゴリズムの効率性に起因していることが示された。