[논문 리뷰] Steerable CNNs

Taco Cohen, Max Welling|arXiv (Cornell University)|2016. 12. 27.

Advanced Neural Network Applications인용 수 23

한 줄 요약

이 논문은 회전과 뒤집기와 같은 군 변환 하에서 선형적으로 조정 가능한 성질을 강제하기 위해 표현 이론을 활용하는 등변성 CNN의 한 종류인 Steerable Convolutional Neural Networks(Steerable CNNs)를 소개한다. 특정 대칭성과 연결된 기본 유형으로 특징 표현을 분해함으로써, 파라미터 공유 비용을 줄이고, 최소한의 레이블 데이터로 CIFAR-10과 CIFAR-100에서 최신 기술 수준의 성능을 달성하며, ResNet, 넓은 및 조밀한 네트워크, 준지도 학습 기반선과 비교해 뛰어난 성능을 보인다.

ABSTRACT

It has long been recognized that the invariance and equivariance properties of a representation are critically important for success in many vision tasks. In this paper we present Steerable Convolutional Neural Networks, an efficient and flexible class of equivariant convolutional networks. We show that steerable CNNs achieve state of the art results on the CIFAR image classification benchmark. The mathematical theory of steerable representations reveals a type system in which any steerable representation is a composition of elementary feature types, each one associated with a particular kind of symmetry. We show how the parameter cost of a steerable filter bank depends on the types of the input and output features, and show how to use this knowledge to construct CNNs that utilize parameters effectively.

연구 동기 및 목표

• 이산적이고 작은 대칭군을 초월해 일반화 가능한 등변성 컨volution 네트워크를 위한 융통성 있고 효율적인 프레임워크를 개발하는 것.
• 스티어러블 표현의 수학적 구조를 활용해 필터 백의 파라미터 비용을 줄이는 것.
• 네트워크 아키텍처에 대칭성의 통합적 편향을 통합함으로써 딥 러닝의 통계적 효율성을 향상시키는 것.
• 스티어러블리티가 특히 낮은 데이터 환경에서 뛰어난 성능을 낼 수 있음을 보여주는 것.
• 표현 이론과 딥 러닝을 연결하는 이론적 기반을 구축하여 등변 특징 학습의 이해를 향상시키는 것.

제안 방법

• 모든 스티어러블 표현이 특정 대칭 유형과 연결된 기본 특징 유형으로 구성되는 유형 체계를 도입한다.
• 군 표현 이론을 사용해 특징 맵이 군 작용 하에서 어떻게 변환되는지를 정의함으로써, 특징 응답이 변환 하에서 선형적으로 조정 가능하도록 보장한다.
• 입력 및 출력 특징 유형의 변환 규칙와 일치하도록 컨볼루션 필터의 가중치 초기화 및 파라미터 공유를 제약함으로써 등변성을 강제한다.
• 대칭군의 기저 표현에 기반해 스티어러블 필터 백의 파라미터 수에 대한 닫힌 형태의 표현식을 유도한다.
• 혼합 캡슐 유형—몫 표현과 기저 표현—을 조합한 잔차 블록 설계를 사용하며, ReLU 및 CReLU와 같은 비선형성을 통합한다.
• 표현의 대수적 구조를 활용해 계산 비용을 군 크기와 분리함으로써, 더 큰 군으로의 확장성을 가능하게 한다.

실험 결과

연구 질문

• RQ1 연속적이고 큰 대칭군에 대해 등변성인 컨볼루션 네트워크를 체계적으로 구성할 수 있는 방법은 무엇인가?
• RQ2 주어진 군 작용 하에서 한 스티어러블 특징 유형에서 다른 특징 유형으로 매핑하는 데 필요한 최소한의 필터 백 파라미터 비용은 얼마인가?
• RQ3 표현 이론 기반 프레임워크는 특히 레이블 데이터가 제한된 상황에서 딥 러닝의 통계적 효율성을 향상시킬 수 있는가?
• RQ4 기본 특징 유형의 조합이 스티어러블 CNN의 표현력과 성능에 어떤 영향을 미치는가?
• RQ5 낮은 데이터 설정에서 스티어러블 표현은 표준 CNN보다 우수한 성능을 낼 수 있는가?

주요 결과

• 50,000개의 레이블 예제를 사용할 때, 스티어러블 CNN은 CIFAR-10에서 3.65%의 테스트 오차를 기록하며, ResNet(4.62%), Wide ResNet(4.17%), DenseNet(3.74%)를 모두 능가한다.
• 50,000개의 레이블을 사용할 때, CIFAR-100에서 이 방법은 18.82%의 오차를 기록하며, ResNet(22.71%), Wide ResNet(20.50%), DenseNet(19.25%)를 모두 뛰어넘는다.
• 단지 4,000개의 레이블 예제만으로도 스티어러블 CNN은 CIFAR-10+에서 16.42%의 오차를 기록하며, Rasmus 등(2016)의 준지도 학습 방법과 DCGAN 기반 전이 학습(26.2% 오차)을 모두 능가한다.
• 혼합 캡슐 유형—몫 표현과 기저 표현—을 사용한 아키텍처는 2,000개의 레이블로 CIFAR-10에서 24.48%의 오차를 기록하며, 표준 ResNet과 일반 캡슐보다 뛰어난 성능을 낸다.
• 스티어러블 필터 백의 파라미터 비용은 대칭군의 기저 표현과 필터 가중치를 일치시킴으로써 크게 감소하며, 효율적인 파라미터 공유를 가능하게 한다.
• 이론적 프레임워크는 계산 비용을 군 크기와 분리함으로써 더 큰 연속 대칭군으로의 확장이 가능하게 하며, 향후 3D 및 연속 제어 작업 응용 분야에 길을 열었다.