[論文レビュー] Drop an Octave: Reducing Spatial Redundancy in Convolutional Neural Networks with Octave Convolution

Yunpeng Chen, Haoqi Fan+6 more|arXiv (Cornell University)|Apr 10, 2019

Advanced Neural Network Applications参考文献 50被引用数 149

ひとこと要約

本論文は Octave Convolution（OctConv）を導入します。これは特徴マップを高周波と低周波のオクターブに因数分解するプラグアンドプレイの演算で、空間的冗長性を低減し、画像および動画タスクにおける精度を向上させつつメモリと計算量を削減します。

ABSTRACT

In natural images, information is conveyed at different frequencies where higher frequencies are usually encoded with fine details and lower frequencies are usually encoded with global structures. Similarly, the output feature maps of a convolution layer can also be seen as a mixture of information at different frequencies. In this work, we propose to factorize the mixed feature maps by their frequencies, and design a novel Octave Convolution (OctConv) operation to store and process feature maps that vary spatially "slower" at a lower spatial resolution reducing both memory and computation cost. Unlike existing multi-scale methods, OctConv is formulated as a single, generic, plug-and-play convolutional unit that can be used as a direct replacement of (vanilla) convolutions without any adjustments in the network architecture. It is also orthogonal and complementary to methods that suggest better topologies or reduce channel-wise redundancy like group or depth-wise convolutions. We experimentally show that by simply replacing convolutions with OctConv, we can consistently boost accuracy for both image and video recognition tasks, while reducing memory and computational cost. An OctConv-equipped ResNet-152 can achieve 82.9% top-1 classification accuracy on ImageNet with merely 22.2 GFLOPs.

研究の動機と目的

• 自然画像には複数の空間周波数情報が含まれており、別々に処理する必要があるという動機づけとモデリング。
• 建物的でプラグアンドプレイ可能な Octave Convolution ユニットを提案し、アーキテクチャの変更なしに従来の畳み込みを置換する。
• OctConv が ImageNet および Kinetics の2Dおよび3Dバックボーンでメモリと FLOPs を削減しつつ精度を向上させることを示す。
• グループ畳み込みと深さ方向畳み込みとの互換性を示し、受容野の利点と整合性の考察を分析する。

提案手法

• 入力チャネルを高周波グループ XH と低周波グループ XL に分割し、XL は空間解像度を半分にした 1 オクターブとすることでオクターブ特徴表現を定義する。
• カーネルを intra-および inter-周波数成分に分解して YH と YL を4つの計算経路で更新することで Octave Convolution を考案する。
• YH = f(XH; WHH) + upsample(f(XL; LHH), 2) および YL = f(XL; LLL) + pool(f(XH; HLH), 2) を計算し、周波数間情報の交換を可能にする。
• ずれを避けつつ効率を維持するため、ダウンサンプリングには平均プーリングを用いるなど実践的な実装上の工夫を行う。
• OctConv を既存アーキテクチャへ組み込むため、グループおよび深さ方向畳み込みのバリアントを提供し、大規模な再設計を必要とせずに導入できるようにする。

実験結果

リサーチクエスチョン

• RQ1 従来の vanilla 畳み込みを OctConv に置換することで、画像および動画認識タスクの精度は向上するか。
• RQ2 異なるバックボーンアーキテクチャにおいて OctConv を用いた場合の FLOPs/メモリのトレードオフはどうなるか。
• RQ3 低周波チャンネル比率 α が性能と効率に与える影響はどのようなものか。
• RQ4 OctConv はグループ畳み込みや深さ方向畳み込み、その他の効率志向の CNN 設計と互換性があるか。
• RQ5 OctConv は受容野と周波数間情報の交換にどのような影響を与えるか。

主な発見

• OctConv を備えたネットワークは、ImageNet および Kinetics の複数のバックボーンで FLOPs を削減しつつ精度を一貫して向上させる。
• OctConv の FLOPs-精度のトレードオフは凹型で、α = 0.125–0.25 周辺に素晴らしい利得が現れる。
• OctConv は実用的な速度向上を理論的な FLOP 削減に近づけ、例えば ResNet-50 は CPU で著しい速度向上を示す。
• 低周波マップは実効受容野が倍増する恩恵を受け、追加メモリなしで文脈理解を高める。
• 周波数内・周波数間の両方の交換経路は性能最大化に重要であり、受容野の拡大が大きい浅いネットワークほど OctConv の利得を受けやすい。
• MG-Conv や関連するマルチスケール手法と比較して、OctConv はより少ないメモリと計算量でより良い FLOPs-精度を達成する。