[논문 리뷰] Classification with Joint Time-Frequency Scattering.

Joakim Andén, Vincent Lostanlen외 1명|arXiv (Cornell University)|2018. 07. 24.

Music and Audio Processing참고 문헌 50인용 수 9

한 줄 요약

이 논문은 고정된 웨이블릿 기반 필터를 사용하는 딥 컨volution 신경망인 동시 시간-주파수 산란 변환을 소개한다. 이는 시간과 주파수 양쪽에서 다중 척도 에너지 분포를 포착한다. 음성 분류 작업에서 최신 기술 수준(SOTA) 성능을 달성하며, 시간 산란보다 뛰어나고 학습된 네트워크와 정확도에서 맞먹는다.

ABSTRACT

In time series classification, signals are typically mapped into some intermediate representation which is used to construct models. We introduce the joint time-frequency scattering transform, a locally time-shift invariant representation which characterizes the multiscale energy distribution of a signal in time and frequency. It is computed through wavelet convolutions and modulus non-linearities and may therefore be implemented as a deep convolutional neural network whose filters are not learned but calculated from wavelets. We consider the progression from mel-spectrograms to time scattering and joint time-frequency scattering transforms, illustrating the relationship between increased discriminability and refinements of convolutional network architectures. The suitability of the joint time-frequency scattering transform for characterizing time series is demonstrated through applications to chirp signals and audio synthesis experiments. The proposed transform also obtains state-of-the-art results on several audio classification tasks, outperforming time scattering transforms and achieving accuracies comparable to those of fully learned networks.

연구 동기 및 목표

• 시계열 데이터에 대해 시간-주파수 불변 표현을 개발하여 분류 작업에서의 분류 능력을 향상시키는 것.
• 기존 스펙트로그램과 학습된 딥 네트워크 사이의 격차를 메우기 위해 구조적이고 학습되지 않은 특징 추출기를 도입하는 것.
• 시간 산란보다 동시 시간-주파수 산란이 뛰어나다는 것과 완전히 학습된 네트워크와 비교해 유사한 성능을 내는 것을 입증하는 것.
• 멜-스펙트로그램에서 시간 산란, 그리고 마지막으로 동시 시간-주파수 산란으로 이르는 아키텍처의 진화를 분석하는 것.

제안 방법

• 동시 시간-주파수 산란 변환은 웨이블릿 컨볼루션과 그 다음에 이어지는 절대값 비선형성으로 계산되며, 국소적으로 시간 이동에 불변인 표현을 생성한다.
• 필터는 학습된 것이 아니라 웨이블릿에서 유도되므로 고정된 해석 가능한 특징 추출 파이프라인을 가능하게 한다.
• 아키텍처는 학습 가능한 파rameter가 없는 딥 컨volution 신경망으로 구성되며, 사전 정의된 웨이블릿 필터에 의존한다.
• 이 방법은 시간과 주파수 영역 양쪽에서 신호의 다중 척도 에너지 분포를 포착한다.
• 시간 산란을 기반으로 하되, 주파수 이동에 대한 불변성을 확장하여 강건성과 분류 능력을 향상시킨다.

실험 결과

연구 질문

• RQ1 동시 시간-주파수 산란은 음성 분류에서 시간만 고려하는 산란보다 분류 능력이 어떻게 향상되는가?
• RQ2 고정된, 학습되지 않은 웨이블릿 기반 네트워크가 완전히 학습된 딥 네트워크와 비교해 어느 정도의 성능을 달성할 수 있는가?
• RQ3 멜-스펙트로그램에서 시간 산란, 그리고 동시 시간-주파수 산란으로 이르는 과정이 특징 품질과 분류 정확도에 어떻게 영향을 미치는가?
• RQ4 동시 시간-주파수 불변성은 신호 왜곡에 대한 강건성을 어떻게 향상시키는가?

주요 결과

• 동시 시간-주파수 산란 변환은 여러 음성 분류 벤치마크에서 최신 기술 수준 성능를 달성한다.
• 시간 산란 변환보다 뛰어나며, 주파수 영역 불변성의 이점을 입증한다.
• 학습 가능한 파rameter가 전혀 없는 것으로도 완전히 학습된 딥 신경망과 유사한 분류 정확도를 달성한다.
• 이 변환은 체이프 신호와 음성 합성 데이터를 효과적으로 특징화하여 강력한 표현 능력을 보여준다.