[논문 리뷰] Resolution learning in deep convolutional networks using scale-space theory

Silvia L. Pintea, Nergis Tömen외 3명|arXiv (Cornell University)|2021. 06. 07.

Generative Adversarial Networks and Image Synthesis참고 문헌 90인용 수 5

한 줄 요약

이 논문은 N-Jet 레이어를 제안하며, 이는 학습 중에 필터의 해상도(가우스 스케일 매개변수 σ를 통해)를 학습하는, 기울기 가능하고 스케일 스페이스 기반의 컨볼루션 레이어로, 기존의 고정 크기 필터를 대체한다. 필터를 학습된 가우스 도함수 기저 함수의 조합으로 매개변수화함으로써, 이 방법은 입력의 스케일에 따라 자동으로 필터 크기와 수신장(receptive field)을 조정하며, 수동적인 해상도 초모수 조정 없이도 분류 및 세분화 작업에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Resolution in deep convolutional neural networks (CNNs) is typically bounded by the receptive field size through filter sizes, and subsampling layers or strided convolutions on feature maps. The optimal resolution may vary significantly depending on the dataset. Modern CNNs hard-code their resolution hyper-parameters in the network architecture which makes tuning such hyper-parameters cumbersome. We propose to do away with hard-coded resolution hyper-parameters and aim to learn the appropriate resolution from data. We use scale-space theory to obtain a self-similar parametrization of filters and make use of the N-Jet: a truncated Taylor series to approximate a filter by a learned combination of Gaussian derivative filters. The parameter sigma of the Gaussian basis controls both the amount of detail the filter encodes and the spatial extent of the filter. Since sigma is a continuous parameter, we can optimize it with respect to the loss. The proposed N-Jet layer achieves comparable performance when used in state-of-the art architectures, while learning the correct resolution in each layer automatically. We evaluate our N-Jet layer on both classification and segmentation, and we show that learning sigma is especially beneficial for inputs at multiple sizes.

연구 동기 및 목표

• CNN 내 데이터세트 및 아키텍처에 따라 특정화된 하드코딩된 해상도 초모수(예: 필터 크기, 서브샘플링)를 제거하기 위해.
• 수동 조정 대신 데이터에서 최적의 해상도(스케일 매개변수 σ를 통해)를 학습할 수 있도록 깊은 네트워크를 가능하게 하기 위해.
• 엔드 투 엔드 최적화가 가능한 기울기 가능하고 연속적인 컨볼루션 필터 매개변수화를 개발하기 위해.
• σ 학습이 수동 조정 없이 다중 스케일 입력에서 성능 향상에 기여하는가를 입증하기 위해.
• 성능 저하 없이 다양한 아키텍처와 데이터세트에 일반화되도록 하기 위해.

제안 방법

• N-Jet 레이어는 컨볼루션 필터를 계수 α와 스케일 σ로 매개변수화된 가우스 도함수 기저 함수의 선형 조합으로 표현한다.
• 스케일 σ는 필터의 공간적 범위와 포함된 세부 정보 수준을 모두 제어하며, 연속적인 해상도 학습을 가능하게 한다.
• 이 방법은 잘 정의된 기울기를 통해 σ를 통해 역전파를 허용하는 제한된 테일러 급수(N-Jet)를 사용하여 필터를 근사한다.
• 필터는 자가 유사성(self-similar)이다: σ를 변경하면 필터 크기가 확대되지만 형태는 유지되며, 이는 해상도 적응을 가능하게 한다.
• 표준 역전파를 사용하여 네트워크는 α(필터 형태)와 σ(해상도)를 동시에 최적화한다.
• 기존의 표준 컨볼루션 레이어를 N-Jet 레이어로 대체함으로써, 입력 스케일에 따라 수신장 크기를 자동으로 적응시킬 수 있다.

Figure 1: Illustration of how an N-Jet Gaussian derivative basis parametrizes the shape and size of the filters. A linear combination of Gaussian derivative basis filters (left) weighted by $\alpha$ parameters span a Taylor series to locally approximate the shape of image filters. The filters are se

실험 결과

연구 질문

• RQ1 딥 CNN이 하드코딩된 필터 크기나 서브샘플링 레이어 없이 데이터로부터 최적의 해상도(즉, 수신장 크기)를 학습할 수 있는가?
• RQ2 연속적이고 기울기 가능한 방식으로 스케일 매개변수 σ를 학습하면 다중 스케일 입력에서 성능 향상이 이루어지는가?
• RQ3 N-Jet 레이어는 성능 저하 없이 다양한 아키텍처와 데이터세트에 일반화될 수 있는가?
• RQ4 표준 CNN과 비교해 N-Jet 모델의 유효 수신장(eRF) 크기는 입력 이미지 크기에 따라 어떻게 변화하는가?
• RQ5 σ 학습의 계산 비용은 표준 컨볼루션에 비해 얼마나 되며, 자동 해상도 적응의 이점보다 이를 상회하는가?

주요 결과

• N-Jet 레이어는 ImageNet과 Cityscapes에서 표준 CNN과 유사한 성능을 달성하여, 정확도 손실 없이 해상도를 학습할 수 있음을 입증한다.
• 이 방법은 초기 레이어에서 더 작은 σ 값(예: 약 5×5 등가 커널 크기)과 더 깊은 레이어에서 더 큰 σ 값(예: 약 11×11 등가)을 자동으로 학습하며, 특징 계층 구조에 적응한다.
• 다중 스케일 Fashion-MNIST에서, N-Jet 모델의 유효 수신장(eRF)은 입력 크기에 비례하여 증가하지만, 고정된 3×3 커널을 가진 베이스라인 모델은 일정한 eRF를 유지한다.
• N-Jet 모델은 기준 NiN 모델 대비 약 2배 느리며, 이는 가우스 기저 함수와 에르미트 다항식을 계산하는 데 드는 비용 때문이다.
• 계산 비용이 증가하지만, 이는 필터 크기와 서브샘플링 전략에 대한 수작업 초모수 검색의 시간 낭비를 제거한다.
• 이 방법은 잘 일반화된다: 다양한 아키텍처와 데이터세트에서 성능 유지가 가능하며, 특히 DeepLab과 같은 사전 학습된 백본에 사용할 경우에도 성능이 유지된다.

Figure 2: Representing local image structure with a linear combination of Gaussian basis filters. The patch (left) , $F(x,y,0;\sigma)$ , is modeled by up to second order Gaussian derivatives, using six $\alpha$ -coefficients.