[論文レビュー] Interleaved Group Convolutions for Deep Neural Networks

Ting Zhang, Guo-Jun Qi+2 more|arXiv (Cornell University)|Jul 10, 2017

Advanced Neural Network Applications参考文献 36被引用数 80

ひとこと要約

インタリーブド・グループ畳み込み（IGC）ブロックは、主な空間グループ畳み込みに続き、チャネルを混合する二次の1×1グループ畳み込みを組み込む。これにより、同等のパラメータと計算コストで、精度を保つ/上回る幅広いネットワークを得られる。

ABSTRACT

In this paper, we present a simple and modularized neural network architecture, named interleaved group convolutional neural networks (IGCNets). The main point lies in a novel building block, a pair of two successive interleaved group convolutions: primary group convolution and secondary group convolution. The two group convolutions are complementary: (i) the convolution on each partition in primary group convolution is a spatial convolution, while on each partition in secondary group convolution, the convolution is a point-wise convolution; (ii) the channels in the same secondary partition come from different primary partitions. We discuss one representative advantage: Wider than a regular convolution with the number of parameters and the computation complexity preserved. We also show that regular convolutions, group convolution with summation fusion, and the Xception block are special cases of interleaved group convolutions. Empirical results over standard benchmarks, CIFAR-$10$, CIFAR-$100$, SVHN and ImageNet demonstrate that our networks are more efficient in using parameters and computation complexity with similar or higher accuracy.

研究の動機と目的

• 畳み込みの空間的およびチャネル方向における冗長性の削減を動機づける。
• 同じパラメータ/コスト制約の下でネットワークの幅を増やすモジュール型ブロック（IGCブロック）を提案する。
• 通常の畳み込み、和の結合を用いたグループ畳み込み（サマネーション融合）、およびXceptionがIGCの特殊ケースであることを示す。
• CIFAR-10/100、SVHN、ImageNetでIGCネットを経験的に検証し、パラメータ効率の向上と競争力のある精度を示す。

提案手法

• L個の主分割とM個の副分割を用いたインタリーブドグループ畳み込みを定義する。
• 主グループ畳み込みは各主分割内で空間畳み込みを行う。
• 副グループ畳み込みは二次分割間で1×1畳み込みを行い、チャネルをブレンドする。
• 複合カーネルを W = P W^d P^T W^p として定式化し、2つのスパースカーネルから構築された密なカーネルを持つ通常の畳み込みと同等であることを証明する。
• パラメータ数 T_igc = L M M S + M L L を導出し、通常の畳み込み T_rc = C^2 S と比較して、IGCが同じパラメータ予算でより広くなり得ることを示す。
• 通常の畳み込み、和融合（ResNeXt型）、Xceptionとの関連を論じる。代替カーネル選択、恒等写像などの拡張を探る。
• 訓練詳細を提供: 各IGCブロック後のBN、主/副畳み込み間に活性化を挟まない、SGDとNesterovモーメント、標準のCIFAR/SVHN/ImageNetプロトコル。）

実験結果

リサーチクエスチョン

• RQ1 空間グループ畳み込みをチャネル結合1×1グループ畳み込みと交互に配置することで、同じパラメータ数の下でネットワークの幅を増やせるか？
• RQ2 IGCブロックは通常の畳み込みより理論的または経験的に幅広く、かつこの幅が同等の計算量でより高い精度につながるか？
• RQ3 主/副分割の選択（LとM）は性能にどう影響するか、最適な範囲はあるか？
• RQ4 IGCネットと通常の畳み込み、和融合ブロック、Xception風ブロックを、精度と効率の観点で、標準データセットでどう比較されるか？

主な発見

• IGCブロックは、2つのスパースカーネルの積としての密な通常の畳み込みと同値である。
• 同じパラメータ数でも、L=1の場合を除きIGCブロックは通常の畳み込みより幅広い。
• IGCブロックを積み重ねたネットは、CIFAR-10/100およびSVHNで、通常の畳み込みや和融合ベースラインと比較して、同等またはより高い精度を少ないパラメータと低いFLOPsで達成する。
• 二ブランチ副分割（例えばM=2）が、Xceptionのような極端なケース（M=1）よりも多くの場合、より良い性能を示す。
• IGCネットは恒等写像を取り入れて、ResNetの同等物より性能を向上させつつ、パラメータ数と計算コストを抑えられる。
• ImageNet規模の実験では、IGC変種はResNetベースラインと比較して、パラメータとFLOPのプロファイルが有利なまま、トップ1/トップ5精度で競争力を示す。