[論文レビュー] Accelerating Large-Kernel Convolution Using Summed-Area Tables

Linguang Zhang, Maciej Halber+1 more|arXiv (Cornell University)|Jun 26, 2019

Human Pose and Action Recognition参考文献 33被引用数 7

ひとこと要約

本稿では、和分積算テーブル（SATs）と学習可能なボックスフィルタを用いて、推論を高速化しながら高解像度の特徴マップを維持する微分可能でパラメータ効率の良い大径カーネル畳み込み層を提案する。SATsを用いることで定数時間の領域和計算が可能となり、フィルタを位置とサイズの4つの変数でパrameter化することにより、計算量を2次関数的に削減し、パラメータ数も削減できる。これにより、1.85Mパラメータで人間ポーズ推定タスクにおいて競争力のある性能を達成でき、先行手法と比べて桁違いに少ない。さらに、限られたデータでも一般化性能が優れている。

ABSTRACT

Expanding the receptive field to capture large-scale context is key to obtaining good performance in dense prediction tasks, such as human pose estimation. While many state-of-the-art fully-convolutional architectures enlarge the receptive field by reducing resolution using strided convolution or pooling layers, the most straightforward strategy is adopting large filters. This, however, is costly because of the quadratic increase in the number of parameters and multiply-add operations. In this work, we explore using learnable box filters to allow for convolution with arbitrarily large kernel size, while keeping the number of parameters per filter constant. In addition, we use precomputed summed-area tables to make the computational cost of convolution independent of the filter size. We adapt and incorporate the box filter as a differentiable module in a fully-convolutional neural network, and demonstrate its competitive performance on popular benchmarks for the task of human pose estimation.

研究の動機と目的

• 完全畳み込みネットワークにおける大径カーネル畳み込みの計算およびパラメータ非効率性を解消すること。
• ダウンサンプリングを伴わずに高解像度の出力を可能にし、空間的詳細を保持すること。
• 和分積算テーブルとボックスフィルタを用いた微分可能でエンドツーエンド学習可能なモジュールを設計し、大受容 field 学習を効率的に行うこと。
• モデルの複雑さを低減することで、データ不足下でも性能を維持しつつ一般化性能を向上させること。

提案手法

• 任意の長方形領域の積分を定数時間で計算できる和分積算テーブル（SATs）を活用し、大径カーネル畳み込みをO(1)で実現する。
• 位置とサイズの4つの変数（x, y, 幅, 高さ）でパrameter化された学習可能なボックスフィルタを用い、フィルタのパラメータ数をカーネルサイズに依存させない。
• バックプロパゲーション中に勾配の連続性を保つために、ボックスコーナーのサブピクセル位置を導入し、エンドツーエンド学習を可能にする。
• 複数のボックスフィルタド特徴マップを深さ方向畳み込みと1×1畳み込みで結合し、複雑なカーネルを近似する。
• 完全畳み込みネットワークにSATベース畳み込みを微分可能レイヤーとして導入し、標準の大径カーネルを効率的なボックスフィルタ同等に置き換える。
• 収束後に整数座標サンプリングを適用することで、推論時の補間を排除し、FLOPsを削減する。

実験結果

リサーチクエスチョン

• RQ1 和分積算テーブルは、最小限のパラメータオーバーヘッドで深層学習に効果的に統合可能か？
• RQ2 1フィルタあたり4パラメータの学習可能なボックスフィルタが、その単純さにもかかわらず、密予測タスクで競争力のある性能を達成できるか？
• RQ3 限られたデータで学習する場合、本手法は標準の大径カーネルまたは拡張畳み込みネットワークよりも一般化性能が優れているか？
• RQ4 ボックスフィルタのパラメータ（位置とサイズ）の微分可能性が、サブピクセル位置決めを用いてバックプロパゲーション中に保持できるか？

主な発見

• 提案手法はMPII人間ポーズデータセットで競争力のある性能を達成し、スクラッチ学習のSimpleBaseline（ResNet50）を上回り、CPNと同等の性能を達成したが、パラメータ数は1.85Mと約1000万パラメータのCPNと比べて著しく少ない。
• COCO test-dev2017セットでも競争力ある結果を示し、多様なポーズとスケールにわたる強力な一般化性能を示した。
• 限られたデータでも一般化性能が優れている：MPIIデータセットの10%での学習でも、完全に過学習した後もSimpleBaselineより高い検証精度を維持した。
• 学習過程で得られたボックスフィルタは多様で非対称となり、先行研究で観察された対称性バイアスを回避した。
• 収束後、ボックスコーナー座標を整数に丸めることで、補間を排除し計算コストを削減でき、性能低下は最小限に抑えられた。