[논문 리뷰] Integrating Large Circular Kernels into CNNs through Neural Architecture Search

Kun He, Chao Li외 3명|arXiv (Cornell University)|2021. 07. 06.

Advanced Neural Network Applications참고 문헌 62인용 수 5

한 줄 요약

이 논문은 망막 신경절세포의 동심원형 수용장에 영감을 얻어, CNN에서 표준 정사각형 커널의 열등한 대안으로 원형 컨volution 커널을 제안한다. 신경망 아키텍처 탐색(NAS)에 큰 원형 커널을 통합함으로써, 저자들은 CIFAR-10 및 CIFAR-100에서 최신 기준 성능을 달성함을 보여주며, 커널의 고유한 등방성과 회전 불변성 덕분에 회전 및 비틀림에 대한 강건성이 향상됨을 확인한다.

ABSTRACT

The square kernel is a standard unit for contemporary CNNs, as it fits well on the tensor computation for convolution operation. However, the retinal ganglion cells in the biological visual system have approximately concentric receptive fields. Motivated by this observation, we propose to use circular kernel with a concentric and isotropic receptive field as an option for the convolution operation. We first propose a simple yet efficient implementation of the convolution using circular kernels, and empirically show the significant advantages of large circular kernels over the counterpart square kernels. We then expand the operation space of several typical Neural Architecture Search (NAS) methods with the convolutions of large circular kernels. The searched new neural architectures do contain large circular kernels and outperform the original searched models considerably. Our additional analysis also reveals that large circular kernels could help the model to be more robust to the rotated or sheared images due to their better rotation invariance. Our work shows the potential of designing new convolutional kernels for CNNs, bringing up the prospect of expanding the search space of NAS with new variants of convolutions.

연구 동기 및 목표

• 등방성, 회전 불변 수용장을 모델링하는 데에 제한이 있는 정사각형 커널의 문제를 해결하기 위해, 동심원형 등방성 샘플링을 갖는 원형 커널을 제안함.
• 기존 딥 러닝 프레임워크에 통합 가능한 효율적인 원형 커널 컨volution의 구현 방법을 개발함.
• 큰 원형 커널을 포함하여 NAS의 연산 공간을 확장함으로써 최적의 커널 형상 자동 탐색을 가능하게 함.
• 원형 커널이 회전 및 비틀림과 같은 기하학적 변환에 대해 모델의 강건성을 향상시키는지 조사함.
• 원형 커널이 정사각형 커널과는 다른 최적화 경로를 가지며, NAS에서 더 나은 일반화를 가능하게 하는지 입증함.

제안 방법

• K×K 커널이 동심원을 따라 균일하게 K²개의 픽셀을 샘플링하여 거의 등방성 수용장을 형성하는 새로운 원형 커널 정의를 제안함.
• 재계산 비용을 피하기 위해 보간법과 희소 샘플링을 활용한 효율적이고 미분 가능한 원형 커널 컨볼루션 구현 방법을 설계함.
• PC-DARTS, DARTS, NASNet 등의 여러 NAS 프레임워크를 확장하여, 정사각형 커널과 함께 원형 커널을 포함한 검색 공간을 확장함.
• 학습 중에 정사각형 및 원형 커널을 무작위로 전환하는 '통합 커널' 모듈을 도입하여 공동 최적화 및 일반화 향상을 가능하게 함.
• 가중치 공유와 미분 가능한 아키텍처 탐색을 활용한 기울기 기반 NAS를 적용하여, 큰 원형 커널의 최적 배치를 탐색함.
• 각 레이어의 학습 반복마다 이항 분포를 사용해 커널 유형(정사각형 또는 원형)을 확률적으로 선택함으로써, 공유 가중치를 유지하면서도 동적 수용장 적응을 가능하게 함.

실험 결과

연구 질문

• RQ1 큰 커널 크기에서 정사각형 커널에 비해 동심원 등방성 수용장을 갖는 원형 커널이 CNN에서 더 우수한 성능을 내는가?
• RQ2 큰 원형 커널을 NAS 검색 공간에 통합하면, 순수하게 정사각형 커널에 기반한 아키텍처를 초월하는 아키텍처가 도출되는가?
• RQ3 원형 커널이 회전 및 비틀림과 같은 기하학적 변환에 대해 모델의 강건성을 향상시키는가?
• RQ4 기울기 하강법 중에 원형 커널을 사용하는 모델과 정사각형 커널을 사용하는 모델 간에 최적화 궤적에 본질적인 차이가 존재하는가?
• RQ5 학습 중에 정사각형 및 원형 형태를 상호 전환하는 하이브리드 '통합 커널'이 순수한 정사각형 또는 원형 커널보다 더 높은 성능을 내는가?

주요 결과

• 큰 원형 커널(k=7)을 사용하는 모델은 데이터 증강 없이도 CIFAR-10에서 최대 1.5% 향상된 성능을 보이며, CIFAR-100에서는 1.2% 향상된 성능를 기록함.
• 원형 커널을 사용하는 PC-DARTS-Circle 모델은 CIFAR-10에서 테스트 오차 2.75%를 기록했으며, CIFAR-100에서는 10.52%를 기록하여 원래의 PC-DARTS 모델(정사각형 커널 사용)을 초월함.
• 기울인 이미지에서 원형 커널 모델은 70° 각도에서 회전에 대해 최대 4% 향상된 성능, 비틀림에 대해 최대 5% 향상된 성능를 보이며 강력한 회전 불변성을 입증함.
• 학습 중에 정사각형 및 원형 커널을 번갈아 사용하는 통합 커널 접근법은 순수한 정사각형 또는 원형 모델보다 뛰어난 성능을 기록함으로써, 독특하고 유리한 최적화 경로를 가짐을 시사함.
• NAS의 탐색 과정은 중요한 레이어에 큰 원형 커널을 성공적으로 식별하고 배치함으로써, 원형 커널이 단순한 대체 수단이 아니라 특정 아키텍처 위치에서 열등한 선택이 아니라는 것을 확인함.
• 실증 분석을 통해 원형 커널이 정사각형 커널과 다른 최적화 궤적을 가지며, 성능 격차와 통합 커널 전략의 성공을 통해 이를 뒷받침함.