[논문 리뷰] Scale-Equivariant Steerable Networks

Ivan Sosnovik, Michał Szmaja외 1명|arXiv (Cornell University)|2019. 10. 14.

Geometric and Algebraic Topology참고 문헌 33인용 수 43

한 줄 요약

본 논문은 steerable 필터를 사용하여 스케일-등변 신경망의 이론을 개발하고, 스케일-변환 그룹에서 스케일 합성을 가능하게 하며 보간 없이 MNIST-scale 및 STL-10에서 최첨단 결과를 달성한다.

ABSTRACT

The effectiveness of Convolutional Neural Networks (CNNs) has been substantially attributed to their built-in property of translation equivariance. However, CNNs do not have embedded mechanisms to handle other types of transformations. In this work, we pay attention to scale changes, which regularly appear in various tasks due to the changing distances between the objects and the camera. First, we introduce the general theory for building scale-equivariant convolutional networks with steerable filters. We develop scale-convolution and generalize other common blocks to be scale-equivariant. We demonstrate the computational efficiency and numerical stability of the proposed method. We compare the proposed models to the previously developed methods for scale equivariance and local scale invariance. We demonstrate state-of-the-art results on MNIST-scale dataset and on STL-10 dataset in the supervised learning setting.

연구 동기 및 목표

• CNN에서 평행이동 등변성을 넘어 스케일 변환을 다루는 방법을 동기 부여하고 형식화한다.
• 텐서 크기 조정 없이 스케일-등변 합성을 가능하게 하는 steerable 필터 매개변수화를 도입한다.
• 스케일-변환 그룹에서의 스케일 합성에 대한 효율적인 알고리즘을 도출한다.
• SESN의 계산 효율성과 수치적 안정성을 입증한다.
• MNIST-scale 및 STL-10에서 기존의 스케일-등변 및 국소 스케일 불변 방법들과 SESN을 실험적으로 비교한다.

제안 방법

• 필터 스케일링을 명시적으로 만드는 매개변수화로 스케일 변환과 steerable 필터를 정의한다 (Equation 3).
• H에서 group-equivariant convolution을 사용하여 스케일-변환 그룹에서 스케일-합성을 구성한다 (Equation 5–7).
• 비선형성이 스케일링과 교환되도록 하여 등변성을 보존한다 (Equation 8).
• 스케일 불변 표현을 얻기 위한 풀링 전략을 제공한다(최대 스케일 투영 및 공간/전역 풀링).
• 텐서 크기 조정을 피하기 위한 steerable 필터 기준(기저)을 사용한 실제 구현을 제시한다 (basis ͏; Gaussian 엔벨로프를 가진 Hermite 다항식 사용).
• 스케일 간 상호 작용 옵션을 포함하여 Conv T->H 및 Conv H->H에 대한 효율적인 계산 방식 제시 (Equations 9–10).

실험 결과

연구 질문

• RQ1 디스크리트 스케일 인자에 대해 평행이동에 더해 CNN 레이어를 등변시키는 방법은 무엇인가?
• RQ2 steerable 필터 매개변수가 빠르고 보간 없이 다중 스케일에 걸친 스CALE-합성을 가능하게 할 수 있는가?
• RQ3 의미 정보를 잃지 않으면서 스케일 불변성을 얻기 위한 효과적인 풀링 전략은 무엇인가?
• RQ4 SESN은 정확도와 효율성 측면에서 기존의 스케일-등변 또는 국소 스케일 불변 아키텍처와 비교해 어떤 차이가 있는가?

주요 결과

• SESN은 임의의 이산 스케일 인자에 대해 steerable 필터를 사용하여 스케일 및 평행이동 등변성을 달성한다.
• 제안된 스케일-합성 프레임워크는 표준 CNN과 비슷한 속도까지 빠르고 보간 없이 계산이 가능하다.
• SESN은 MNIST-scale에서 기존의 스케일-등변 및 국소 스케일 불변 방법들을 능가하며, 스칼라 및 벡터 버전 모두에서 강력한 이점을 보인다.
• STL-10에서 SESN 변형은 지도학습 정확도에서 최첨단 성과를 달성하고 여러 벤치마크를 상회한다.
• 스케일 간 상호 작용을 사용하면 성능이 향상될 수 있지만 등변 오차가 더 커질 수 있다; 스케일 투영 등 신중한 설계가 견고한 이득을 준다.
• SESN은 현실적인 이산화 및 깊은 아키텍처에서도 낮은 등변 오차를 보이며 실용적 실행 가능성을 검증한다.