[논문 리뷰] XSepConv: Extremely Separated Convolution

Jiarong Chen, Zongqing Lu외 2명|arXiv (Cornell University)|2020. 02. 27.

Advanced Neural Network Applications참고 문헌 39인용 수 10

한 줄 요약

이 논문은 공간 분리형 컨벌루션과 딥웨이즈 컨벌루션을 결합하여 대규모 커널 딥웨이즈 컨벌루션에서 FLOPs와 파라미터를 크게 감소시키는 새로운 컨벌루션 블록인 XSepConv을 제안한다. 전략적으로 설계된 $2\times2$ 딥웨이즈 컨벌루션과 향상된 대칭 패딩 기법을 통합함으로써, XSepConv는 CIFAR-10, CIFAR-100, SVHN, 그리고 Tiny-ImageNet에서 표준 딥웨이즈 컨벌루션보다 높은 정확도를 달성하면서도 뛰어난 효율성을 유지한다.

ABSTRACT

Depthwise convolution has gradually become an indispensable operation for modern efficient neural networks and larger kernel sizes ($\ge5$) have been applied to it recently. In this paper, we propose a novel extremely separated convolutional block (XSepConv), which fuses spatially separable convolutions into depthwise convolution to further reduce both the computational cost and parameter size of large kernels. Furthermore, an extra $2 imes2$ depthwise convolution coupled with improved symmetric padding strategy is employed to compensate for the side effect brought by spatially separable convolutions. XSepConv is designed to be an efficient alternative to vanilla depthwise convolution with large kernel sizes. To verify this, we use XSepConv for the state-of-the-art architecture MobileNetV3-Small and carry out extensive experiments on four highly competitive benchmark datasets (CIFAR-10, CIFAR-100, SVHN and Tiny-ImageNet) to demonstrate that XSepConv can indeed strike a better trade-off between accuracy and efficiency.

연구 동기 및 목표

• 효율적인 CNN에서 대규모 커널 딥웨이즈 컨벌루션의 높은 계산 비용과 파라미터 비용을 해결하기 위해.
• 채널 기반 분리 외의 공간 분해 기법을 탐색하여 계산 부담을 추가로 줄이기 위해.
• 공간 분리형 컨벌루션으로 인한 정보 손실을 보완하기 위해 보조적인 $2\times2$ 딥웨이즈 컨벌루션을 도입함으로써 정보 손실을 완화하기 위해.
• 딥 네트워크에서 짝수 크기의 컨벌루션에 대해 대칭 패딩을 향상시켜 출력의 대칭성과 성능을 유지하기 위해.
• 모바일 및 엣지 AI 모델을 위한 즉시 사용 가능한, 효율적인 표준 딥웨이즈 컨벌루션 대체 기법을 제공하기 위해.

제안 방법

• XSepConv는 공간 분리형 컨벌루션(너비 방향 및 높이 방향)을 딥웨이즈 컨벌루션에 융합하여 대규모 2D 커널을 1D 연산으로 분해한다.
• 블록의 시작 부분에 추가적인 $2\times2$ 딥웨이즈 컨벌루션을 삽입하여 분리형 컨벌루션에서 놓친 방향성 정보를 캡처한다.
• 향상된 대칭 패딩 전략은 단일 레이어가 아닌 네 개의 연속된 짝수 크기 컨벌루션 레이어에 걸쳐 대칭 패딩을 적용하여 출력 비대칭성을 감소시킨다.
• 두 단계의 스트라이드 컨벌루션(s12 및 s21)을 통해 공간 다운샘플링을 지원하여 특징 무결성을 유지한다.
• 아키텍처는 MobileNetV3-Small와 같은 모델에서 표준 딥웨이즈 컨벌루션의 즉시 교체 가능한 대체 기법으로 설계되었다.
• 제거 실험을 통해 $2\times2$ 컨벌루션의 위치와 패딩 전략이 정확도와 효율성에 미치는 영향을 평가한다.

실험 결과

연구 질문

• RQ1 공간 분리형 컨벌루션을 딥웨이즈 컨벌루션과 효과적으로 융합하여 대규모 커널 환경에서 FLOPs와 파라미터를 줄일 수 있는가?
• RQ2 공간 분리형 컨벌루션에서 발생하는 정보 손실을 보완하기 위해 $2\times2$ 딥웨이즈 컨벌루션을 추가함으로써 성능 향상이 이루어지는가?
• RQ3 제안된 향상된 대칭 패딩 전략은 원래 방법에 비해 최종 네트워크 정확도에 어떤 영향을 미치는가?
• RQ4 XSepConv 블록 내에서 $2\times2$ 딥웨이즈 컨벌루션의 최적의 위치는 정확도와 효율성 측면에서 무엇인가?
• RQ5 XSepConv는 베이스라인 표준 딥웨이즈 컨벌루션보다 정확도는 높이고 계산 비용은 낮추는 데 성공하는가? (기준 데이터셋에서 확인)

주요 결과

• XSepConv는 단지 1.70M 파라미터와 49.18M FLOPs로 Tiny-ImageNet에서 59.82%의 top-1 정확도를 달성하여 기준 딥웨이즈 컨벌루션을 초월한다.
• CIFAR-100에서 XSepConv는 1.70M 파라미터와 49.18M FLOPs로 74.02%의 정확도를 기록하여 원래 대칭 패딩 기반 베이스라인보다 0.49% 향상되었다.
• $2\times2$ 컨벌루션을 공간 분리형 컨벌루션 이전에 위치시킨 변종(XSepConv)이 가장 뛰어난 성능을 보였으며, 이후에 위치시킨(XSepConv-B) 또는 병렬로 배치한(XSepConv-P) 경우 각각 CIFAR-100에서 정확도가 0.49%와 0.88% 감소하였다.
• 향상된 대칭 패딩 전략은 원래 대칭 패딩 방법에 비해 CIFAR-100에서 0.21% 향상된 정확도를, Tiny-ImageNet에서는 0.24% 향상된 정확도를 기록하였다.
• XSepConv는 모든 네 가지 데이터셋(CIFAR-10, CIFAR-100, SVHN, Tiny-ImageNet)에서 기준 모델과 동일한 FLOPs와 파라미터 수를 유지하면서도 정확도를 향상시켰다.
• 제거 실험 결과, $2\times2$ 딥웨이즈 컨벌루션이 블록의 앞부분에 위치할 경우 공간 분해 이전에 특징 표현을 유지함으로써 가장 효과적으로 기능함을 확인하였다.