[논문 리뷰] Scale Steerable Filters for Locally Scale-Invariant Convolutional Neural Networks

Rohan Ghosh, Anupam K. Gupta|arXiv (Cornell University)|2019. 06. 10.

Optical measurement and interference techniques참고 문헌 11인용 수 35

한 줄 요약

이 논문은 log-radial 하모닉 스케일-스티어러블 필터를 도입하여 지역적으로 스케일 불변인 CNN(SS-CNN)을 구축하고, MNIST-Scale 및 FMNIST-Scale에서 베이스라인 대비 성능 향상을 보여준다.

ABSTRACT

Augmenting transformation knowledge onto a convolutional neural network's weights has often yielded significant improvements in performance. For rotational transformation augmentation, an important element to recent approaches has been the use of a steerable basis i.e. the circular harmonics. Here, we propose a scale-steerable filter basis for the locally scale-invariant CNN, denoted as log-radial harmonics. By replacing the kernels in the locally scale-invariant CNN \cite{lsi_cnn} with scale-steered kernels, significant improvements in performance can be observed on the MNIST-Scale and FMNIST-Scale datasets. Training with a scale-steerable basis results in filters which show meaningful structure, and feature maps demonstrate which demonstrate visibly higher spatial-structure preservation of input. Furthermore, the proposed scale-steerable CNN shows on-par generalization to global affine transformation estimation methods such as Spatial Transformers, in response to test-time data distortions.

연구 동기 및 목표

• 회전과 이동을 넘어 변환 인지를 고려한 CNN 가중치의 필요성을 제시한다.
• 필터의 정확한 스케일 스티어링을 가능하게 하는 스케일-스티어러블 기저( log-radial 하모닉스 )를 제안한다.
• 스케일-스티어드 기저를 로컬 스케일 불변 CNN(SS-CNN)에 통합하고 엔드투엔드로 학습한다.
• 스케일이 다양하게 변하는 데이터셋(MNIST-Scale, FMNIST-Scale) 및 로컬 스케일 변화에서 정확도 개선과 구조 보존을 시연한다.

제안 방법

• 스케일과 방향으로 스티어러블한 log-radial harmonic 기저 필터를 정의한다.
• 각 커널을 기저 필터들의 선형 결합의 실수부로 표현하고 계수는 복소수로 한다.
• 스케일-스티어링 관계 W^s(as)=s^{m-2} e^{-i k log s} (기저의 합) 를 도출하고 실수 가중치를 위해 실수부를 취한다.
• 스케일-스티어드 필터로 합성곱하고 스케일 간의 맥스풀링을 수행하여 스케일-불변 표현을 얻어 SS-CNN을 구성한다.
• MNIST-Scale 및 FMNIST-Scale에서 LocScaleInv-CNN, LocScaleEq-CNN, Spatial Transformer 등의 베이스라인과 유사한 파라미터 예산으로 비교한다.

실험 결과

연구 질문

• RQ1 log-radial 하모닉 스케일-스티어러블 필터가 CNN에 대해 정확한 스케일 스티어링을 제공할 수 있는가?
• RQ2 전역 및 로컬 스케일 변화가 있는 데이터셋에서 SS-CNN이 기존의 스케일 불변 접근법에 비해 강건성 및 정확도를 향상시키는가?
• RQ3 스케일-스티어드 필터가 필터 구조 및 중간 특징 맵에 어떤 영향을 미치는가?
• RQ4 테스트 시 왜곡 처리에서 SS-CNN은 Spatial Transformer Networks에 비해 어떻게 수행하는가?
• RQ5 무슨 설계 선택(중심성, 스케일 샘플링)이 변환 민감도와 성능에 영향을 미치는가?

주요 결과

• SS-CNN은 MNIST-Scale에서 Spatial Transformer Networks와 경쟁력 있는 정확도를 달성하고, 여러 스케일 등가 베이스라인보다 우수하다.
• 스케일-스티어러블 필터는 더 구조적이고 중심적이며 해석 가능한 첫 번째 레이어 필터를 생성하고 특징 맵의 공간 구조 보존을 향상시킨다.
• 탄성 왜곡에서 SS-CNN은 강건성을 유지하며 종종 베이스라인을 능가하여 왜곡 하에서 강한 일반화 능력을 보인다.
• 로컬 스케일 변화에 대해 SS-CNN이 Spatial Transformer 베이스라인과 비교해 특히 학습 데이터가 제한적일 때 우수한 성능을 보인다.
• 시각화 결과는 비-스케일-스티어드 대비에서 SS-CNN 활성화가 더 높은 공간 구조 보존을 나타낸다.