[논문 리뷰] FlexConv: Continuous Kernel Convolutions with Differentiable Kernel Sizes

David W. Romero, Robert-Jan Bruintjes외 4명|arXiv (Cornell University)|2021. 10. 15.

Advanced Neural Network Applications참고 문헌 61인용 수 26

한 줄 요약

FlexConv은 학습 가능한 고대역폭 연속 컨볼루션 커널과 미분 가능 커널 크기를 도입하여 동적이고 해상도-강건한 CNN(FlexNets)을 가능하게 하며, 시퀀스 데이터에서 최첨단 결과를 달성하고 이미지에서도 경쟁력 있는 성능을 발휘한다.

ABSTRACT

When designing Convolutional Neural Networks (CNNs), one must select the size\break of the convolutional kernels before training. Recent works show CNNs benefit from different kernel sizes at different layers, but exploring all possible combinations is unfeasible in practice. A more efficient approach is to learn the kernel size during training. However, existing works that learn the kernel size have a limited bandwidth. These approaches scale kernels by dilation, and thus the detail they can describe is limited. In this work, we propose FlexConv, a novel convolutional operation with which high bandwidth convolutional kernels of learnable kernel size can be learned at a fixed parameter cost. FlexNets model long-term dependencies without the use of pooling, achieve state-of-the-art performance on several sequential datasets, outperform recent works with learned kernel sizes, and are competitive with much deeper ResNets on image benchmark datasets. Additionally, FlexNets can be deployed at higher resolutions than those seen during training. To avoid aliasing, we propose a novel kernel parameterization with which the frequency of the kernels can be analytically controlled. Our novel kernel parameterization shows higher descriptive power and faster convergence speed than existing parameterizations. This leads to important improvements in classification accuracy.

연구 동기 및 목표

• 학습 중 커널 크기를 미리 고정하지 않고 학습하도록하는 모티브를 제공한다.
• 고정된 매개변수 비용에서 고대역폭 커널을 지원하는 연속 커널 매개변수화를 개발한다.
• 주파수 콘텐츠를 제어하고 에일리싱을 방지하기 위해 MAGNets를 도입하여 고해상도 배치를 가능하게 한다.
• FlexNets가 시퀀스 작업에서 기존의 학습 커널 방법보다 성능이 우수하고 이미지 벤치마크에서도 더 깊은 CNN과 경쟁력을 갖도록 한다.

제안 방법

• 연속 커널 MLP ψ와 비등방성 가우시안 마스크의 곱으로 커널 크기를 학습 중에 배우는 FlexConv를 정의한다.
• 주파수 속성을 제어하기 위한 커널 매개변수화 기초로 MAGNets(Multiplicative Anisotropic Gabor Networks)를 도입한다.
• 높은 해상도에서 배치할 때 에일리싱을 완화하기 위해 MAGNet 기반 표현을 정규화한다(에일리징-프리 MAGNets).
• MAGNets의 최대 주파수에 대한 해석적 표현을 제공하고 이를 에일리싱 규제 손실에 포함한다.
• 샘플링 밀도 조정 및 Crop/효율적 합성 곱 연산 가속화(예: Fourier 기반 속도 향상)를 통해 더 높은 해상도에서 배치를 가능하게 한다.
• 고정 커널, 확장 커널 및 학습 커널 기반 기준선과 비교하여 시퀀스 데이터(FlexTCNs/FlexNets) 및 이미지 데이터셋(CIFAR-10)에 대해 광범위한 실험을 수행한다.

실험 결과

연구 질문

• RQ1 컨volution 커널을 고대역폭으로 학습시키면서 그 유효 크기가 미분 가능하고 학습 가능한가?
• RQ2 연속 MAGNet 기반 커널 매개변화가 높은 해상도에서 alias-free 배치를 가능하게 하면서 정확도를 유지하거나 개선하는가?
• RQ3 FlexConvs와 FlexNets가 시퀀스 데이터에서 기존 학습 커널 방법을 능가하고 이미지 벤치마크에서 풀링 기반 CNN과 경쟁하는가?
• RQ4 고정 또는 확장 커널과 비교할 때 커널 크기 학습이 수렴 속도와 계산 효율성에 이점을 제공하는가?

주요 결과

• FlexConvs는 커널을 신경망으로 매개변수화하고 Gaussian 마스크와의 곱으로 고정 매개변수 수를 유지하면서 고대역폭 커널 학습을 가능하게 한다.
• MAGNets는 주파수 콘텐츠에 대한 해석적 제어를 제공하여 더 높은 해상도에서의 에일리싱 없는 배치를 거의 정확도 손실 없이 가능하게 한다.
• FlexNets는 여러 시퀀스 데이터에서 최첨단 성능을 달성하고 CIFAR-10에서도 풀링 기반 아키텍처 및 학습 커널 방법과 비교해 경쟁력 있는 성능을 보인다.
• 저해상도에서의 학습과 에일리싱-없는 MAGNets를 통한 배치가 더 높은 해상도에서 배치될 때 계산 시간을 줄이는 데 기여하면서도 성능을 유지한다.
• MAGNet 주파수에 초점을 맞춘 에일리싱 규제가 해상도 간 일반화와 더 높은 해상도로 업샘플링할 때의 안정성을 향상시킨다.