[논문 리뷰] Invariant Scattering Convolution Networks

Joan Bruna, Stéphane Mallat|arXiv (Cornell University)|2012. 03. 05.

Image Retrieval and Classification Techniques인용 수 20

한 줄 요약

이 논문은 웨이블릿 변환, 절댓값 비선형성, 평균 풀링을 사용하여 이동 불변성 이미지 표현을 구축하는 딥러닝 아키텍처인 웨이블릿 스캐터링 컨볼루션 네트워크를 소개한다. 이는 푸리에 전력 스펙트럼을 초월한 고차 통계 모멘트를 캡처함으로써 손글씨 숫자 및 텍스처 분류에서 최신 기술 수준(SOTA) 성능을 달성하며, CUReT에서 PCA 분류기로 최소 0.2%의 오차율을 기록한다.

ABSTRACT

A wavelet scattering network computes a translation invariant image representation, which is stable to deformations and preserves high frequency information for classification. It cascades wavelet transform convolutions with non-linear modulus and averaging operators. The first network layer outputs SIFT-type descriptors whereas the next layers provide complementary invariant information which improves classification. The mathematical analysis of wavelet scattering networks explains important properties of deep convolution networks for classification. A scattering representation of stationary processes incorporates higher order moments and can thus discriminate textures having the same Fourier power spectrum. State of the art classification results are obtained for handwritten digits and texture discrimination, using a Gaussian kernel SVM and a generative PCA classifier.

연구 동기 및 목표

• 소규모 변형에 대해 안정적인 이동 불변성 이미지 표현을 개발하여 푸리에 기반 불변성의 한계를 해결한다.
• 더 깊은 레이어를 도입하여 SIFT 유사 기술을 초월하여 고차 통계 정보를 캡처한다.
• 딥 컨볼루션 네트워크의 분류 작업 성공에 대한 수학적으로 탄탄한 설명을 제공한다.
• 스캐터링 계수를 통해 고차 모멘트를 통합함으로써 동일한 푸리에 전력 스펙트럼을 가진 텍스처를 구분할 수 있도록 한다.
• 기본적인 커널 및 생성 모델 기반 분류기로 표준 벤치마크에서 최신 기술 수준의 분류 성능을 입증한다.

제안 방법

• 이동 불변성을 확보하기 위해 연속된 웨이블릿 변환, 절댓값 연산, 평균 풀링을 사용하는 깊은 컨볼루션 네트워크를 구성한다.
• 웨이블릿 계수를 필터로 사용하여 국소적 특징을 추출한 후, 절댓값 연산을 적용하여 소규모 변형에 대한 안정성을 확보한다.
• 공간 영역에 걸쳐 평균 풀링을 적용하여 분산을 감소시키고 다중 스케일 및 방향에서 불변 표현을 생성한다.
• 정상 과정에 대한 스캐터링 표현을 도입하여 두 번째 차수 통계를 초월하는 고차 모멘트(최대 4차까지)를 인코딩한다.
• O(N log N) 시간에 효율적으로 스캐터링 계수를 계산하기 위해 감소된余弦 변환을 사용하며, SIFT와 유사한 차원 수를 갖는다.
• 스캐터링을 PCA 또는 SVM 분류기와 조합하여 교차 검증을 통해 분산 감소를 위한 최적의 스케일 파rameter를 선택한다.

실험 결과

연구 질문

• RQ1 소규모 변형에 강건한 안정적이고 이동 불변성 표현을 생성하기 위해 어떻게 깊은 컨볼루션 네트워크를 설계할 수 있는가?
• RQ2 왜 스캐터링 네트워크의 더 깊은 레이어가 첫 번째 레이어의 SIFT 유사 기술을 초월하여 분류 성능을 향상시키는가?
• RQ3 스캐터링 네트워크는 동일한 푸리에 전력 스펙트럼을 가진 텍스처를 고차 통계 모멘트를 캡처함으로써 구분할 수 있는가?
• RQ4 고정된, 학습되지 않은 웨이블릿 기반 아키텍처가 표준 이미지 분류 벤치마크에서 학습된 딥 네트워크를 얼마나 뛰어나게 성능을 낼 수 있는가?
• RQ5 정확성과 안정성 측면에서 전통적인 방법(예: SIFT, 텍스턴 사전, MRF 모델)과 비교할 때 스캐터링 표현은 어떻게 다른가?

주요 결과

• PCA 분류기와 함께 $ m_{ ext{max}} = 2 $를 사용할 때 스캐터링 네트워크는 CUReT 텍스처 데이터셋에서 0.2%의 오차율을 기록하며 이전 최신 기술 수준의 방법들을 능가한다.
• $ m_{ ext{max}} = 1 $일 경우 오차율이 0.5%로 감소하여 첫 번째 레이어의 스캐터링 계수만으로도 창시된 윈도우드 푸리에 스펙트럼보다 더 우수한 편향-분산 트레이드오프를 제공함을 보여준다.
• 스캐터링 표현은 4차 모멘트를 캡처하여 제2차 통계가 동일한 텍스처를 구분할 수 있음을 그림 5에서 입증한다.
• 푸리에 스펙트럼 기반 기준선을 사용할 경우 MNIST 및 USPS에서 오차율을 1%로 감소시켜 이전의 SVM 및 MRF 모델의 최신 기술 수준 결과를 능가한다.
• 스캐터링 변환의 크기는 SIFT 기술자와 최대 3배 이내이며, $ O(N/log N) $ 연산으로 계산되어 계산적으로 효율적이다.
• 교차 검증을 통해 이미지 너비가 최적의 스케일 $ 2^J $로 선택됨을 확인하여 스캐터링 추정 분산이 스케일 증가에 따라 감소함을 입증하였으며, 이는 푸리에 스펙트럼과는 반대로 행동한다.