[논문 리뷰] DISCO: accurate Discrete Scale Convolutions

Ivan Sosnovik, Artem Moskalev외 1명|arXiv (Cornell University)|2021. 06. 04.

Domain Adaptation and Few-Shot Learning인용 수 5

한 줄 요약

DISCO는 제1원리에서 유도된 최적의 커널 재스케일링 규칙을 통해 규모 등변성 컨volution 네트워크의 등변성 오차를 최소화하는 새로운 이산 스케일 컨볼루션 레이어를 도입한다. MNIST-Scale과 STL-10에서 최신 기준 성능을 달성하며, 시아모이즈 트래커에서 추론 속도를 2배로 향상시켜 정확성과 효율성 면에서 이전 방법들을 능가한다. 이는 스케일 등변성 커널 설계를 위한 정확한 해와 근사해를 제공함으로써 달성된다.

ABSTRACT

Scale is often seen as a given, disturbing factor in many vision tasks. When doing so it is one of the factors why we need more data during learning. In recent work scale equivariance was added to convolutional neural networks. It was shown to be effective for a range of tasks. We aim for accurate scale-equivariant convolutional neural networks (SE-CNNs) applicable for problems where high granularity of scale and small kernel sizes are required. Current SE-CNNs rely on weight sharing and kernel rescaling, the latter of which is accurate for integer scales only. To reach accurate scale equivariance, we derive general constraints under which scale-convolution remains equivariant to discrete rescaling. We find the exact solution for all cases where it exists, and compute the approximation for the rest. The discrete scale-convolution pays off, as demonstrated in a new state-of-the-art classification on MNIST-scale and on STL-10 in the supervised learning setting. With the same SE scheme, we also improve the computational effort of a scale-equivariant Siamese tracker on OTB-13.

연구 동기 및 목표

• 기존 스케일 등변성 CNN에서 커널 재스케일링의 정확도 부족으로 인한 등변성 오차를 해결하기 위해.
• 이산 재스케일링 하에서 스케일 등변성을 유지하는 정확한 및 근사적인 커널 재스케일링 해를 유도하기 위해.
• 낮은 등변성 오차로 고해상도 스케일 분석을 가능하게 하여 시각 작업에서 데이터 의존도를 감소시키기 위해.
• 분류 및 시각 트래킹과 같은 스케일 민감한 작업에서 계산 효율성과 성능을 향상시키기 위해.
• 기존 접근법(연속적 재스케일링 및 정수 확장 기반 방법 포함)을 통합하고 확장하는 일반적인 프레임워크를 제공하기 위해.

제안 방법

• 군 이론과 커널 변환 원리를 사용하여 이산 스케일 컨볼루션에서 등변성에 필요한 일반적 조건을 유도한다.
• 등변성을 유지할 수 있는 정확한 커널 재스케일링을 구하고, 정확한 해가 존재하지 않을 경우 근사값을 계산한다.
• 유한한 스케일 인자 집합을 사용하고 커널 변환을 커널 기저 위의 선형 연산으로 공식화한다.
• 표준 CNN 아키텍처에 유도된 커널을 적용하여 최소한의 아키텍처 변경으로 종단 간 학습을 가능하게 한다.
• 이미지 인터폴레이션을 감독 신호로 사용하여 지표 스케일 레이블 없이 스케일 추정기 학습을 위한 스케일 대비 학습을 적용한다.
• 기존 SE-CNN에 DISCO 레이어를 통합하여 특징 추출기 재학습 없이도 적용 가능하게 한다.

실험 결과

연구 질문

• RQ1 이산 스케일 컨볼루션에서 정확한 스케일 등변성을 달성하기 위한 필수 및 충분한 조건는 무엇인가?
• RQ2 정확한 해가 존재하지 않을 경우 스케일 컨볼루션에서 등변성 오차를 최소화하는 방법은 무엇인가?
• RQ3 이산 스케일 컨볼루션 레이어가 정확성과 효율성 면에서 연속적 재스케일링 및 정수 확장 방법을 능가할 수 있는가?
• RQ4 등변성 오차를 줄임으로써 분류 및 트래킹과 같은 후행 작업에서 성능 향상은 어느 정도 이루어지는가?
• RQ5 DISCO는 스케일 레이블 없이도 자기지도 학습 환경에서 정확한 스케일 추정을 가능하게 할 수 있는가?

주요 결과

• DISCO는 MNIST-Scale 데이터셋에서 기존 방법을 능가하는 새로운 최신 기준 정확도 99.78%를 달성한다.
• STL-10 데이터셋에서 DISCO는 지도 학습에서 88.9%의 상위-1 정확도를 기록하여 새로운 최신 기준을 수립한다.
• OTB-13에서 DISCO 기반 시아모이즈 트래커는 SE-SiamFC+와 동일한 성능을 내며, 100 FPS에서 62.1% AUC를 달성하면서 2배 빠른 속도를 기록한다.
• Hermite, Fourier, Radial, B-Spline 기반 SE-CNN보다 DISCO의 등변성 오차가 현저히 낮아 일반화 성능이 향상된다.
• 제안된 방법은 유한한 스케일 집합에 대해 가능한 모든 SE-CNN을 커버하며, Worrall & Welling (2019) 및 Sosnovik et al. (2019)를 특수 케이스로 포함한다.
• DISCO를 사용한 자기지도 스케일 추정 모델은 스케일 애너테이션 없이도 자연 이미지에서 스케일 필드를 정확하게 예측할 수 있도록 잘 일반화된다.