[논문 리뷰] Active Convolution: Learning the Shape of Convolution for Image Classification

Yunho Jeon, Junmo Kim|arXiv (Cornell University)|2017. 03. 27.

Advanced Neural Network Applications참고 문헌 27인용 수 13

한 줄 요약

이 논문은 백프로파게이션을 통해 미분 가능하고 최적화되는 공간적 형태와 수용장역의 위치를 갖는 학습 가능한 컨볼루션 연산인 액티브 컨볼루션 유닛(ACU)을 제안한다. 분수형 및 변형 가능한 수용장역을 허용함으로써, 아키텍처 변경 없이 ImageNet에서 최대 0.79% 및 Place365에서 최대 0.49%의 이미지 분류 정확도 향상을 이룩하였으며, 기존 컨볼루션에 비해 더 뛰어난 표현 능력을 입증하였다.

ABSTRACT

In recent years, deep learning has achieved great success in many computer vision applications. Convolutional neural networks (CNNs) have lately emerged as a major approach to image classification. Most research on CNNs thus far has focused on developing architectures such as the Inception and residual networks. The convolution layer is the core of the CNN, but few studies have addressed the convolution unit itself. In this paper, we introduce a convolution unit called the active convolution unit (ACU). A new convolution has no fixed shape, because of which we can define any form of convolution. Its shape can be learned through backpropagation during training. Our proposed unit has a few advantages. First, the ACU is a generalization of convolution; it can define not only all conventional convolutions, but also convolutions with fractional pixel coordinates. We can freely change the shape of the convolution, which provides greater freedom to form CNN structures. Second, the shape of the convolution is learned while training and there is no need to tune it by hand. Third, the ACU can learn better than a conventional unit, where we obtained the improvement simply by changing the conventional convolution to an ACU. We tested our proposed method on plain and residual networks, and the results showed significant improvement using our method on various datasets and architectures in comparison with the baseline.

연구 동기 및 목표

• CNN에서 고정된 형태의 컨벌루션 커널로 인해 발생하는 유연성 부족 문제를 해결하기 위해.
• 비정규적 위치 및 분수형 위치를 포함한 컨벌루션 커널 형태의 엔드 투 엔드 학습을 가능하게 하기 위해, 미분 가능한 위치 파라미터를 도입하기 위해.
• 표준 컨벌루션을 ACU로 교체함으로써 아키텍처 변경 없이 이미지 분류 성능을 향상시키기 위해.
• 학습 가능한 수용장역이 일반 네트워크 및 잔차 네트워크에서 특징 표현을 향상시킬 수 있는지 탐색하기 위해.

제안 방법

• ACU는 각 커널 요소에 대해 학습 가능한 위치 파라미터를 도입하여, 훈련 중에 수용장역이 공간적으로 변형될 수 있도록 한다.
• 출력은 인접한 뉴런 간의 이차보간을 사용하여 계산되며, 뉴런 간 공간에도 연결을 가능하게 한다.
• 위치 파라미터는 백프로파게이션을 통해 업데이트되어, 네트워크가 엔드 투 엔드로 최적의 커널 형태를 학습할 수 있도록 한다.
• ACU는 표준 컨벌루션을 일반화하며, 확장, 분수형, 또는 비정규적인 형태의 커널을 표현할 수 있다.
• 위치 파라미터 업데이트를 활성화하기 전에 고정된 위치로 구성된 웜업 단계를 사용하여 훈련을 안정화시킨다.
• 표준 CNN인 AlexNet과 ResNet에 적용하기 위해, $3\times3$ 컨벌루션을 ACU로 교체한다.

실험 결과

연구 질문

• RQ1 학습 가능한, 변형 가능한 컨벌루션 커널 형태가 이미지 분류 성능을 향상시킬 수 있는가?
• RQ2 일반 네트워크와 잔차 네트워크 모두에서 ACU가 표준 컨벌루션을 초월하는가?
• RQ3 네트워크 깊이와 데이터셋 복잡성에 따라 학습된 수용장역 형태는 어떻게 다를 수 있는가?
• RQ4 아키텍처 재설계 없이 ACU가 다양한 데이터셋과 아키텍처로 일반화될 수 있는가?

주요 결과

• AlexNet의 $3\times3$ 컨벌루션을 ACU로 교체함으로써, Place365 검증 세트에서 상위-1 정확도가 0.6% 향상되고 상위-5 정확도가 0.79% 향상되었다.
• 26층의 잔차 네트워크에서 ACU를 사용함으로써, 단지 128개의 추가 파라미터로 상위-5 정확도가 0.49% 향상되었다.
• ACU는 비격자형, 비정규적인 수용장역 패턴을 학습하였으며, 특히 더 깊은 층에서 다수의 수용장역 조합을 형성하였다.
• 웜업 단계 이후 테스트 오차가 ACU 네트워크에서 크게 감소하여, 형태 학습이 효과적으로 이루어졌음을 시사했다.
• 더 깊은 층에서 학습된 ACU 형태는 더 복잡하고 크며, 특히 Place365 데이터셋의 더 큰 이미지에서 두드러졌다.
• ACU는 다양한 데이터셋과 네트워크 아키텍처에서 일관된 성능 향상을 기록하여 일반화 능력과 강건성을 입증하였다.