[논문 리뷰] Interleaved Group Convolutions for Deep Neural Networks

Ting Zhang, Guo-Jun Qi외 2명|arXiv (Cornell University)|2017. 07. 10.

Advanced Neural Network Applications참고 문헌 36인용 수 80

한 줄 요약

인터리브된 그룹 컨볼루션(IGC) 블록을 도입하는 것으로, 주된 공간 그룹 컨볼루션 뒤에 채널 blending을 위한 보조 1×1 그룹 컨볼루션을 두어, 매개변수 및 계산 비용이 비슷하거나 더 큰 정확도를 가진 더 넓은 네트워크를 생성한다.

ABSTRACT

In this paper, we present a simple and modularized neural network architecture, named interleaved group convolutional neural networks (IGCNets). The main point lies in a novel building block, a pair of two successive interleaved group convolutions: primary group convolution and secondary group convolution. The two group convolutions are complementary: (i) the convolution on each partition in primary group convolution is a spatial convolution, while on each partition in secondary group convolution, the convolution is a point-wise convolution; (ii) the channels in the same secondary partition come from different primary partitions. We discuss one representative advantage: Wider than a regular convolution with the number of parameters and the computation complexity preserved. We also show that regular convolutions, group convolution with summation fusion, and the Xception block are special cases of interleaved group convolutions. Empirical results over standard benchmarks, CIFAR-$10$, CIFAR-$100$, SVHN and ImageNet demonstrate that our networks are more efficient in using parameters and computation complexity with similar or higher accuracy.

연구 동기 및 목표

• 공간적 및 채널 차원 모두에서 합성곱의 중복성을 줄이는 동기를 부여한다.
• 동일한 매개변수/비용 제약 하에서 네트워크의 너비를 증가시키는 모듈식 빌딩 블록(IGC 블록)을 제안한다.
• 정규 합성곱, 합산 융합이 있는 그룹 합성곱(ResNeXt 유형), 그리고 Xception이 IGC의 특수한 경우임을 보여준다.
• CIFAR-10/100, SVHN, ImageNet에서 IGC 네트워크를 경험적으로 검증하여 매개변수 효율성 향상과 경쟁력 있는 정확도를 입증한다.

제안 방법

• L개의 주 파티션과 M개의 보조 파티션을 가진 인터리브드 그룹 컨볼루션을 정의한다.
• 주 그룹 컨볼루션은 각 주 파티션 내에서 공간적 합성곱을 수행한다.
• 보조 그룹 컨볼루션은 채널을 융합하기 위해 보조 파티션 간에 1×1 합성곱을 수행한다.
• 합성 커널을 W = P W^d P^T W^p로 형식화하고, 이는 두 개의 희소 커널로 구성된 밀집 커널과의 정규 합성곱에 등가임을 증명한다.
• 매개변수 수 T_igc = L M M S + M L L를 도출하고, 정규 합성곱의 T_rc = C^2 S와 비교하여 같은 매개변수 예산에서 IGC가 더 넓어질 수 있음을 보인다.
• 정규 합성곱, 합산 융합(ResNeXt 유형), 및 Xception과의 연관성을 논의하고, 확장(예: 대체 커널 선택, 항등 매핑 등)을 탐색한다.
• 학습 세부 정보 제공: 각 IGC 블록 뒤의 배치 정규화(BN), 주-보조 합성곱 사이의 활성화 없음, Nesterov 모멘텀을 포함한 SGD, 표준 CIFAR/SVHN/ImageNet 프로토콜.

실험 결과

연구 질문

• RQ1 같은 매개변수 수에서 공간 그룹 컨볼루션과 채널 혼합 1×1 그룹 컨볼루션을 교차 배치하는 것이 네트워크의 폭을 증가시킬 수 있는가?
• RQ2 IGC 블록이 이론적으로나 경험적으로 정규 컨볼루션보다 더 넓은가, 그리고 이 폭이 비슷한 계산량에서 더 나은 정확도로 이어지는가?
• RQ3 주/보조 파티션 선택(L, M)이 성능에 어떤 영향을 미치며 최적의 범위가 있는가?
• RQ4 표준 벤치마크에서 정확도와 효율성 측면에서 IGC 네트가 정규 컨볼루션, 합산 융합 블록, Xception 스타일 블록과 비교하여 어떠한가?

주요 결과

• IGC 블록은 두 개의 희소 커널의 곱으로 구성된 밀집 정규 합성곱과 등가다.
• 같은 매개변수 수에서, L=1의 자명한 경우를 제외하고 IGC 블록은 정규 합성곱보다 더 넓다.
• IGC 블록을 쌓아 만든 네트워크는 CIFAR-10/100 및 SVHN에서 정규 컨볼루션 및 합산 융합 베이스라인에 비해 매개변수와 FLOPs가 적으면서 비슷하거나 더 높은 정확도를 달성한다.
• 실험 결과 두 가지 분기 보조 파티션(M=2)이 Xception(M=1)과 같은 극단적 경우보다 종종 더 나은 성능을 낸다.
• IGC 네트는 항등 매핑을 도입하여 ResNet 등가성과 비교해 성능을 개선하면서 매개변수 수와 계산 비용을 낮은 수준으로 유지할 수 있다.
• ImageNet 규모 실험에서 IGC 변종은 ResNet 베이스라인에 비해 매개변수와 FLOP 구성이 유리한 상태에서 경쟁력 있는 top-1/top-5 정확도를 달성한다.