[논문 리뷰] Wavelet Networks: Scale-Translation Equivariant Learning From Raw Time-Series

David W. Romero, Erik J. Bekkers외 2명|arXiv (Cornell University)|2020. 06. 09.

Neural Networks and Applications인용 수 5

한 줄 요약

이 논문은 원시 시간 시리즈 데이터를 위한 새로운 종류의 척도-이동 불변 신경망인 웨이블릿 네트워크를 소개한다. 이 네트워크는 시간 신호에 내재된 대칭성을 활용하며, 척도와 이동에 대해 불변인 군 컨벌루션을 구성함으로써 웨이블릿 변환을 모방한다. 이로 인해 사전 처리 없이도 뛰어난 데이터 효율성과 엔지니어링된 스펙트로그램 방법 수준의 성능을 달성할 수 있으며, 음성, 환경 음향, 전기 신호 분야에서 성능이 뛰어나다.

ABSTRACT

Leveraging the symmetries inherent to specific data domains for the construction of equivariant neural networks has lead to remarkable improvements in terms of data efficiency and generalization. However, most existing research focuses on symmetries arising from planar and volumetric data, leaving a crucial data source largely underexplored: time-series. In this work, we fill this gap by leveraging the symmetries inherent to time-series for the construction of equivariant neural network. We identify two core symmetries: *scale and translation*, and construct scale-translation equivariant neural networks for time-series learning. Intriguingly, we find that scale-translation equivariant mappings share strong resemblance with the wavelet transform. Inspired by this resemblance, we term our networks Wavelet Networks, and show that they perform nested non-linear wavelet-like time-frequency transforms. Empirical results show that Wavelet Networks outperform conventional CNNs on raw waveforms, and match strongly engineered spectrogram techniques across several tasks and time-series types, including audio, environmental sounds, and electrical signals. Our code is publicly available at https://github.com/dwromero/wavelet_networks.

연구 동기 및 목표

• 시간 시리즈 데이터에서 아직 탐색이 부족한 대칭성, 특히 척도 및 이동 불변성에 대응하기 위해.
• 모든 레이어에서 이러한 대칭성을 유지하는 신경망 아키텍처를 개발하여 데이터 효율성과 일반화 능력을 향상시키기 위해.
• 고전적 웨이블릿 변환과 딥러닝을 연결하기 위해 웨이블릿 유사 변환에 영감을 받은 미분 가능하고 엔드 투 엔드 아키텍처를 구축하기 위해.
• 척도 및 이동에 대한 불변성이 표준 CNN보다 원시 시간 시리즈 작업에서 성능 향상에 기여하는지 입증하기 위해.
• 스펙트로그램 기반 모델의 단점을 피하고 사전 처리 없이도 복잡도를 줄이며 스케일이 가능한 파라미터 효율적인 대안을 제공하기 위해.

제안 방법

• 이 방법은 척도 및 이동 변환에 대해 불변인 군 컨벌루션을 사용하여, 입력의 변환이 특징 공간에서도 그대로 반영되도록 보장한다.
• 각 레이어는 웨이블릿 변환을 모방하도록 설계되며, 다이레이티드 컨벌루션 커널이 B-스플라인 기반으로 매개변수화되어 다중 척도 및 이동 불변 표현을 지원한다.
• 이러한 불변 레이어를 계층적으로 스택하여, 각 레이어가 비선형적인 웨이블릿 유사 시간-주파수 분해를 수행한다.
• 각 레이어의 출력이 척도 및 이동에 대해 일관되게 변환되도록 하여 모든 레이어에서 불변성을 유지하며, 이는 웨이블릿 변환의 행동과 유사하다.
• 스펙트로그램이나 수작업으로 만든 특징에 의존하지 않고, 표준 백프로파게이션을 사용하여 원시 파형에서 엔드 투 엔드로 학습한다.
• 큰 커널의 연속적 매개변수화와 커널 크기에 따라 공간 도메인 및 푸리에 도메인 컨벌루션 간의 동적 전환을 통해 효율성을 향상시킨다.

실험 결과

연구 질문

• RQ1 신경망에서 척도-이동 불변성이 원시 시간 시리즈 학습의 데이터 효율성과 일반화 능력을 향상시키는가?
• RQ2 웨이블릿 유사 변환이 척도-이동 불변 컨벌루션에서 자연스럽게 어떻게 나타나는가?
• RQ3 레이어 간 엔드 투 엔드 불변성은 스펙트로그램을 사전 처리 전단으로 사용하는 것과 비교해 어떻게 다를까?
• RQ4 긴 입력 길이를 가진 시간 시리즈 모델에서 척도 간 상호작용의 영향은 무엇인가?
• RQ5 웨이블릿 유도 아키텍처는 멜-스펙트로그램과 같이 엄격하게 엔지니어링된 스펙트로그램 기반 모델의 성능을 따라하거나 뛰어넘을 수 있는가?

주요 결과

• 웨이블릿 네트워크는 음성 및 전기 신호를 포함한 여러 시간 시리즈 작업에서 표준 CNN보다 원시 파형에서 더 뛰어난 데이터 효율성을 보였다.
• US8K 음성 데이터셋에서 멜-스펙트로그램 기반 접근법과 유사한 성능을 달성했으며, 원시 파형을 사용하고 파라미터 수가 적은데도 불구하고 성능이 뛰어나다.
• 네트워크 내부의 척도 간 상호작용은 항상 성능 향상에 기여하며, 시각 모델과 달리 잘라내기로 인한 불변성 오류가 발생하지 않는다.
• 아키텍처의 내부 레이어는 연속 웨이블릿 변환과 강한 유사성을 보이며, 군 불변성과 웨이블릿 분석 간 이론적 연결성을 검증한다.
• 연속적 커널 매개변수화와 푸리에 도메인 컨벌루션의 사용은 큰 커널에 대해 계산 효율성을 크게 향상시킨다.
• 메모리와 학습 시간은 고려된 척도의 수에 따라 증가하지만, 몬테카를로 근사와 분리 가능한 군 컨벌루션 기법을 통해 향후 최적화에 유망한 길을 열어 놓았다.