[논문 리뷰] CyCNN: A Rotation Invariant CNN using Polar Mapping and Cylindrical Convolution Layers

Jin-Pyo Kim, Wooekun Jung외 2명|arXiv (Cornell University)|2020. 07. 21.

Advanced Neural Network Applications참고 문헌 35인용 수 32

한 줄 요약

CyCNN은 회전을 극 좌표 매핑으로 변환하고 원통형 컨볼루션 층을 사용하여 회전 불변성을 달성하며 데이터 증강 없이 회전된 이미지 분류를 개선합니다.

ABSTRACT

Deep Convolutional Neural Networks (CNNs) are empirically known to be invariant to moderate translation but not to rotation in image classification. This paper proposes a deep CNN model, called CyCNN, which exploits polar mapping of input images to convert rotation to translation. To deal with the cylindrical property of the polar coordinates, we replace convolution layers in conventional CNNs to cylindrical convolutional (CyConv) layers. A CyConv layer exploits the cylindrically sliding windows (CSW) mechanism that vertically extends the input-image receptive fields of boundary units in a convolutional layer. We evaluate CyCNN and conventional CNN models for classification tasks on rotated MNIST, CIFAR-10, and SVHN datasets. We show that if there is no data augmentation during training, CyCNN significantly improves classification accuracies when compared to conventional CNN models. Our implementation of CyCNN is publicly available on https://github.com/mcrl/CyCNN.

연구 동기 및 목표

• 회전 불변 이미지 분류의 필요성을 CNN에서 제기합니다.
• 입력을 극 좌표로 매핑하여 회전을 평대로 변환하는 파이프라인을 제안합니다.
• 원통형으로 슬라이딩 윈도우를 사용하는 Cylindrical Convolution (CyConv) 층을 도입합니다.
• 원래 CNN과 동일한 매개변수 수를 유지하면서 표현 방식과 층 유형만 변경합니다.

제안 방법

• 입력 이미지를 Cartesian에서 polar(또는 log-polar) 좌표로 변환하여 회전을 평대로 변환합니다.
• 표준 합성곱 층을 Cylindrical Convolution (CyConv) 층으로 대체하고 원통형 슬라이드 윈도우(CSW)를 사용합니다.
• 경계 행을 래핑하여 원통형 입력을 만들어 필터가 전체 원통형 스캔을 가능하게 합니다.
• faster training을 위한 Cylindrical Winograd (CyWino) 합성곱을 선택적으로 구현합니다.
• 학습 가능한 매개변수 수를 원래 CNN과 같게 유지하며 표현 방식과 층 유형만 변경합니다.

실험 결과

연구 질문

• RQ1 극 좌표 변환이 CNN의 회전 변 Variation을 평대 variation으로 변환할 수 있는가?
• RQ2 CyConv 층이 모델 크기를 증가시키지 않으면서 회전 불변성을 향상시키는가?
• RQ3 CyCNN은 회전된 표준 데이터셋(MNIST, SVHN, CIFAR-10, CIFAR-100)에서 기존 CNN과 비교해 어떤 성능을 보이는가?
• RQ4 데이터 증강(회전, 평행 이동)이 CyCNN과 기준 CNN에 미치는 영향은?

주요 결과

• 극 매핑은 회전 데이터에서 기준 CNN의 정확도를 원래 CNN보다 향상시킨다.
• CyCNN의 CyConv 층은 증강 없이 학습된 경우에도 해당하는 기준 CNN보다 회전된 이미지 정확도를 크게 향상시킨다.
• 회전+평가 증강과 함께 CyCNN은 여러 데이터셋에서 기준선과 비슷한 정확도를 달성한다.
• CyCNN은 원래 CNN과 동일한 학습 가능한 매개변수 수를 유지하나, 최적화된 커널(CyWino)이 느려 학습 시간이 더 길어질 수 있다가 이후 속도를 높일 수 있다.