[논문 리뷰] Scaling the Scattering Transform: Deep Hybrid Networks

Edouard Oyallon, Eugene Belilovsky외 1명|SPIRE - Sciences Po Institutional REpository|2017. 03. 27.

Advanced Neural Network Applications참고 문헌 26인용 수 20

한 줄 요약

이 논문은 초기 네트워크 레이어에서 학습 가능한 컨볼루션 필터 대신 고정된 사전 정의된 특징 추출기로 산란 변환(shearlet transform)을 사용하는 하이브리드 딥 러닝 프레임워크를 제안한다. 산란 특징과 학습 가능한 1×1 컨볼루션의 얕은 캐스케이드를 조합함으로써, ImageNet ILSVRC2012에서 AlexNet 수준의 정확도를 달성하고, ResNet을 사용할 경우 단 10층으로 11.4%의 top-5 오차를 기록하며, CIFAR-10과 STL-10에서의 저자료 환경에서 엔드투엔드 모델을 능가한다.

ABSTRACT

We use the scattering network as a generic and fixed ini-tialization of the first layers of a supervised hybrid deep network. We show that early layers do not necessarily need to be learned, providing the best results to-date with pre-defined representations while being competitive with Deep CNNs. Using a shallow cascade of 1 x 1 convolutions, which encodes scattering coefficients that correspond to spatial windows of very small sizes, permits to obtain AlexNet accuracy on the imagenet ILSVRC2012. We demonstrate that this local encoding explicitly learns invariance w.r.t. rotations. Combining scattering networks with a modern ResNet, we achieve a single-crop top 5 error of 11.4% on imagenet ILSVRC2012, comparable to the Resnet-18 architecture, while utilizing only 10 layers. We also find that hybrid architectures can yield excellent performance in the small sample regime, exceeding their end-to-end counterparts, through their ability to incorporate geometrical priors. We demonstrate this on subsets of the CIFAR-10 dataset and on the STL-10 dataset.

연구 동기 및 목표

• 딥 네트워크의 초기 레이어가 성능을 훼손하지 않고도 고정된 사전 정의된 표현으로 대체될 수 있는지 조사하는 것.
• 기하학적 불변성과 안정성으로 유명한 산란 네트워크가 감독 딥 러닝을 위한 일반적인 초기화로 사용될 수 있는지 평가하는 것.
• 산란과 학습 가능한 레이어를 조합한 하이브리드 아키텍처가 저자료 환경에서 엔드투엔드 학습 모델보다 우수한 성능을 보임을 입증하는 것.
• 산란 계수를 효과적으로 매핑하기 위해 1×1 컨볼루션을 사용하는 경량이고 해석 가능한 국소 인코더를 개발하는 것.
• 산란 네트워크에 내장된 사전 정의된 기하학적 사전 지식이 훨씬 적은 파라미터와 레이어로도 경쟁 가능한 성능을 낼 수 있음을 보여주는 것.

제안 방법

• 파형 변환 필터와 국소 평균을 사용하는 수학적으로 탄탄한 고정된 특징 추출기로 산란 변환을 사용하여 이동과 작은 회전에 대한 불변성을 제공한다.
• 산란 계수를 인코딩하기 위해 학습 가능한 1×1 컨볼루션 레이어의 얕은 캐스케이드를 적용하여 산란 네트워크를 업데이트하지 않고도 공간적으로 국소화된 표현을 학습한다.
• 소규모 공간 창에서 산란 계수를 처리하는 공유된 국소 인코더를 활용하여 명시적으로 국소적 회전에 대한 불변성을 학습한다.
• 산란 표현과 현대적인 ResNet 아키텍처를 조합하여 단 10층으로 ImageNet에서 경쟁 가능한 성능을 달성한다.
• 학습률 감소를 적용한 확률적 경사 하강법을 사용해 하이브리드 네트워크를 엔드투엔드로 훈련시키며, 표준 데이터 증강 및 교차 검증 프로토콜을 적용한다.
• ImageNet ILSVRC2012, CIFAR-10(소규모 샘플 환경), STL-10에서 성능을 평가하고, 엔드투엔드 및 비지도 사전 훈련 기반 베이스라인과 비교한다.

실험 결과

연구 질문

• RQ1 산란 변환과 같은 고정된 사전 정의된 표현이 성능을 저하시키지 않고도 학습 가능한 초기 레이어를 대체할 수 있는가?
• RQ2 산란 계수에 적용된 얕은 학습 가능한 1×1 컨볼루션 인코더가 국소적 회전에 대해 어느 정도 불변성을 달성하고 분류 정확도를 향상시킬 수 있는가?
• RQ3 산란과 딥 컨볼루션 네트워크를 조합한 하이브리드 아키텍처가 정확도와 샘플 효율성 측면에서 엔드투엔드 학습 모델과 비교해 어떻게 성능을 내는가?
• RQ4 CIFAR-10과 STL-10과 같은 저자료 환경에서 산란 기반 특징이 비지도 사전 훈련 방법보다 뛰어난 성능을 낼 수 있는가?
• RQ5 기하학적 사전 지식을 딥 러닝 파ipelin에 통합할 경우 모델의 해석 가능성과 일반화 능력에 어떤 영향을 미치는가?

주요 결과

• 제안된 하이브리드 네트워크는 단 10층으로 ImageNet ILSVRC2012에서 11.4%의 top-5 오차를 기록하며, 고정된 산란 변환을 사용해 초기 특징 추출을 수행함으로써 ResNet-18의 성능을 재현한다.
• 산란 계수에 대한 얕은 1×1 컨볼루션 인코더는 ImageNet ILSVRC2012에서 AlexNet 수준의 정확도를 달성하여 국소적 인코딩의 효과적인 표현 학습에 기여함을 입증한다.
• 5,000개의 레이블이 있는 STL-10 데이터셋에서 전체 레이블된 데이터셋을 사용해 훈련한 하이브리드 모델은 테스트 정확도 87.6%를 기록하며, 100,000개의 비레이블 이미지를 사용해 비지도 사전 훈련한 방법보다 뛰어난 성능을 보였다.
• CIFAR-10의 소규모 서브셋에서 하이브리드 아키텍처는 엔드투엔드 모델을 초월하며, 사전 정의된 기하학적 사전 지식이 저자료 환경에서 특히 유리함을 입증한다.
• 논문에서 제시된 경험적 검증을 통해 학습된 1×1 컨볼루션 인코더를 통해 국소적 회전에 대한 명시적 불변성이 달성됨을 확인하였다.
• 저자들은 산란 변환의 고도로 최적화된 GPU 구현과 사전 훈련된 하이브리드 모델을 공개하여 이러한 아키텍처의 빠른 훈련 및 구현을 가능하게 하였다.