[논문 리뷰] ACNet: Strengthening the Kernel Skeletons for Powerful CNN via Asymmetric Convolution Blocks

Xiaohan Ding, Yuchen Guo외 2명|arXiv (Cornell University)|2019. 08. 11.

Advanced Neural Network Applications참고 문헌 35인용 수 87

한 줄 요약

ACNet은 비대칭 컨볼루션 블록(ACB)을 도입해 학습 중 일반 CNN을 풍부하게 만든 뒤 원래 아키텍처로 융합하여 추론 비용 증가 없이 정확도와 회전 변형에 대한 강인성을 향상시킨다.

ABSTRACT

As designing appropriate Convolutional Neural Network (CNN) architecture in the context of a given application usually involves heavy human works or numerous GPU hours, the research community is soliciting the architecture-neutral CNN structures, which can be easily plugged into multiple mature architectures to improve the performance on our real-world applications. We propose Asymmetric Convolution Block (ACB), an architecture-neutral structure as a CNN building block, which uses 1D asymmetric convolutions to strengthen the square convolution kernels. For an off-the-shelf architecture, we replace the standard square-kernel convolutional layers with ACBs to construct an Asymmetric Convolutional Network (ACNet), which can be trained to reach a higher level of accuracy. After training, we equivalently convert the ACNet into the same original architecture, thus requiring no extra computations anymore. We have observed that ACNet can improve the performance of various models on CIFAR and ImageNet by a clear margin. Through further experiments, we attribute the effectiveness of ACB to its capability of enhancing the model's robustness to rotational distortions and strengthening the central skeleton parts of square convolution kernels.

연구 동기 및 목표

• 매뉴얼 재설계나 하이퍼파라미터 조정 없이 기존 모델에 Plug-in 가능한 아키텍처-중립적 CNN 개선을 모티브로 한다.
• 병렬 3×3, 1×3, 3×1 컨볼루션을 사용하여 제곱 커널을 확장하는 Asymmetric Convolution Block(ACB)를 제안한다.
• ACNet이 CIFAR 및 ImageNet에서 더 높은 정확도를 얻고 동일한 출력으로 원래 아키텍처로 다시 변환될 수 있음을 입증한다.
• ACB가 왜 성능을 개선하는지, 중심(뼈대) 커널 가중치와 회전 왜곡에 대한 강인성에 초점을 맞춰 분석한다.

제안 방법

• 각 3×3 컨볼루션을 3×3, 1×3, 3×1 가지 분기 출력의 합으로 구성된 ACB로 대체한다.
• ACNet을 엔드투엔드로 학습하고 BN과 분기를 융합하여 추론 시 추가 비용 없이 동등한 표준 컨볼루션으로 얻는다.
• BN 융합 및 분기 융합 단계에서 BN 매개변수를 커널에 결합하고 융합된 커널을 단일 표준 레이어로 합친다.
• 다양한 모델(Plain, ResNet, DenseNet, AlexNet)과 다수의 모델에서 CIFAR-10/100 및 ImageNet를 통해 경험적으로 검증한다.

실험 결과

연구 질문

• RQ1 표준 제곱 커널 레이어를 ACB로 대체하면 일반 CNN 벤치마크에서 정확도가 향상되는가?
• RQ2 ACNet을 원래 아키텍처로 되돌려도 추론 비용이나 결과가 바뀌지 않는가?
• RQ3 가로/세로 비대칭성과 BN 배치가 성능 향상 및 강인성에 어느 정도 기여하는가?
• RQ4 커널 구조의 골격(스켈튼)을 강화하는 것과 커널 위치에 대한 섭동이 성능에 어떻게 영향을 미치는가?
• RQ5 ACNet이 회전 왜곡(예: 회전, 대칭 반전)에 대한 강인성을 실제로 향상시키는가?

주요 결과

• ACNet은 CIFAR-10에서 Top-1 정확도를 일관되게 향상시키며 예: Cifar-quick은 83.13에서 84.24로, ResNet-56은 94.31에서 95.09로, WRN-16-8은 95.56에서 96.15로, DenseNet-40은 94.29에서 94.84로 증가한다.
• CIFAR-100에서 여러 베이스라인에서 이득이 나타난다(예: ResNet-56은 73.58에서 74.04로 증가).
• ImageNet에서 ACNet은 AlexNet의 Top-1을 1.52% 향상시키고 ResNet-18의 Top-1을 0.78% 향상시키며 DenseNet-121은 0.67%를 얻는다.
• ABlation 연구에서 분기의 가로/세로 BN 중 하나를 제거하거나 BN 배치를 제거하면 성능이 낮아지며 가로 커널은 ResNet-18에서 회전 왜곡에 대한 강인성을 향상시킨다(예: 180° 회전).
• 스켈튼 가중치(중심 커널 위치)가 모서리 가중치보다 더 중요하며 ACNet은 스켈튼을 추가로 강화하여 성능 향상에 기여한다.
• ACNet은 하이퍼파라미터를 추가하지 않으며 추론 시 비용도 증가시키지 않으며 PyTorch/TensorFlow로 구현 가능하고, 학습 흐름은 분기 융합 역학으로 인해 다르게 구성된다.