[논문 리뷰] Generic Deep Networks with Wavelet Scattering

Edouard Oyallon, Stéphane Mallat외 1명|arXiv (Cornell University)|2013. 12. 23.

Remote-Sensing Image Classification참고 문헌 9인용 수 9

한 줄 요약

이 논문은 객체 분류를 위해 두 층으로 구성된 학습이 없는 웨이블릿 스캐터링 네트워크를 제안하며, 공간 웨이블릿 변환을 적용한 후 공간, 각도 및 스케일 차원에 걸쳐 공동 웨이블릿 변환을 수행한다. 학습 없이 Caltech 데이터셋에서 뛰어난 성능을 달성하여, 일반적인 딥 레이어링을 위한 불변 스캐터링 특징의 효과를 입증한다.

ABSTRACT

We introduce a two-layer wavelet scattering network, which involves no learning, for object classification. This scattering transform computes a spatial wavelet transform on the first layer and a joint wavelet transform along spatial, angular and scale variables in the second layer. Image classification results are given on Caltech databases.

연구 동기 및 목표

• 학습이 필요 없이 일반적인 딥 네트워크를 개발하는 것.
• 두 층으로 구성된 아키텍처에서 웨이블릿 스캐터링 변환을 고정된 불변 특징 추출기로 사용해 보는 것.
• 이 고정된 네트워크의 성능을 Caltech와 같은 표준 벤치마크 데이터셋에서 평가하는 것.
• 공간, 각도 및 스케일 변수에 걸쳐 공동 웨이블릿 변환을 통해 분류의 강건성이 향상되는지 조사하는 것.

제안 방법

• 첫 번째 층은 입력 이미지에서 局소적이고 이동 불변 특징을 추출하기 위해 공간 웨이블릿 변환을 적용한다.
• 두 번째 층은 공간, 각도 및 스케일 변수에 걸쳐 공동 웨이블릿 변환을 계산하여 소규모 변형에 대한 불변성을 향상시킨다.
• 학습이나 최적화 없이 사전 정의된 웨이블릿 필터를 사용하며, 고정된 수학적 변환에 의존한다.
• 두 번째 층에서 유도된 스캐터링 계수는 선형 분류기용 고정된 특징으로 사용된다.
• 네트워크는 에너지를 유지하고 소규모 입력 변형에 대해 안정성을 제공하도록 설계되어 있다.
• 웨이블릿의 수학적 성질을 활용하여 backpropagation 없이 계층적이고 불변 표현을 생성한다.

실험 결과

연구 질문

• RQ1 학습 없이 두 층으로 구성된 웨이블릿 스캐터링 네트워크가 경쟁력 있는 분류 정확도를 달성할 수 있는가?
• RQ2 공간, 각도 및 스케일 차원에 걸쳐 공동 웨이블릿 변환을 적용하면 특징의 불변성이 어떻게 향상되는가?
• RQ3 이 고정된 네트워크의 성능은 Caltech와 같은 표준 객체 인식 벤치마크에서 어떻게 되는가?
• RQ4 스캐터링 특징은 학습된 딥 특징과 비교해 볼 때 강건성과 일반화 능력 측면에서 어떻게 다른가?

주요 결과

• 두 층으로 구성된 웨이블릿 스캐터링 네트워크는 학습이나 하이퍼파라미터 튜닝 없이도 Caltech 데이터셋에서 뛰어난 분류 성능을 달성한다.
• 공간, 각도 및 스케일 변수에 걸쳐 공동 웨이블릿 변환을 적용함으로써 불변성이 향상되고 특징 표현의 품질이 향상된다.
• 고정된 학습이 없는 아키텍처는 단순히 공간 웨이블릿 변환을 사용하는 기준 방법보다 뛰어난 성능을 보인다.
• 수학적 불변성은 웨이블릿 변환을 통해 달성할 수 있으며, 이는 객체 분류에서 경쟁 가능한 결과를 도출할 수 있음을 입증한다.