[논문 리뷰] A deep convolutional neural network that is invariant to time rescaling

Brandon G. Jacques, Zoran Tiganj외 3명|arXiv (Cornell University)|2021. 07. 09.

Music and Audio Processing참고 문헌 25인용 수 4

한 줄 요약

이 논문은 시간 스케일링에 대해 불변성을 달성하기 위해 시간을 로그적으로 압축한 시간 메모리를 사용하는 딥 컨volution 신경망인 SITHCon을 제안한다. 이는 시간 스케일링을 로그 시간에서의 이동으로 전환시킨다. 표준 시간 컨volution 네트워크(TCNs)와 달리, SITHCon은 재학습 없이 10배의 시간 스케일링 범위를 일반화하여 안정적으로 작동한다. 이는 log(at) = log(a) + log(t)라는 수학적 성질을 활용하기 때문이다.

ABSTRACT

Human learners can readily understand speech, or a melody, when it is presented slower or faster than usual. Although deep convolutional neural networks (CNNs) are extremely powerful in extracting information from time series, they require explicit training to generalize to different time scales. This paper presents a deep CNN that incorporates a temporal representation inspired by recent findings from neuroscience. In the mammalian brain, time is represented by populations of neurons with temporal receptive fields. Critically, the peaks of the receptive fields form a geometric series, such that the population codes a set of temporal basis functions over log time. Because memory for the recent past is a function of log time, rescaling the input results in translation of the memory. The Scale-Invariant Temporal History Convolution network (SITHCon) builds a convolutional layer over this logarithmically-distributed temporal memory. A max-pool operation results in a network that is invariant to rescalings of time modulo edge effects. We compare performance of SITHCon to a Temporal Convolution Network (TCN). Although both networks can learn classification and regression problems on both univariate and multivariate time series f(t), only SITHCon generalizes to rescalings f(at). This property, inspired by findings from contemporary neuroscience and consistent with findings from cognitive psychology, may enable networks that learn with fewer training examples, fewer weights and that generalize more robustly to out of sample data.

연구 동기 및 목표

• 시간 스케일링된 입력에 대해 일반화할 수 있는 딥 신경망 아키텍처를 개발함으로써, 인간처럼 말이나 멜로디의 속도 변화에 대해 강건한 성능을 구현하고자 한다.
• 표준 시간 컨볼루션 네트워크(TCNs)의 한계를 해결하고자 하며, 이는 선형 시간 샘플링으로 인해 시간 스케일링 간 일반화에 실패하기 때문이다.
• 시간 스케일링을 로그 시간에서의 이동으로 전환시켜 스케일 불변성을 달성하는 생물학적으로 영감을 받은 로그적으로 압축된 시간 메모리 구현을 목표로 한다.
• 로깅된 간격으로 배치된 시간 기저 함수의 범위를 확장함으로써 스케일 불변성이 재학습 없이도 달성될 수 있음을 입증하고자 한다.
• 딥 네트워크에서 시간 표현 학습의 강건성 향상을 위해 로그 시간 기저 함수의 타당성을 탐색하고자 한다.

제안 방법

• 핵심 혁신은 기하학적으로 간격을 두고 시간을 샘플링하는 스케일 불변 시간 역사(SITH) 레이어로, 이는 τ̂_n = (1+c)^(n-1) τ̂_1로 정의되며, 로그 압축을 가능하게 한다.
• SITH 레이어는 입력 신호 f(t)를 기저 함수 φ(τ̂_n)와 컨볼루션하여 압축된 메모리 표현 f̃_t[n]을 계산함으로써, 스케일링에 대해 시간 불변성을 달성한다.
• SITH 표현 위에 표준 컨볼루션 레이어와 밀집 레이어를 사용하며, 출력은 로그 시간에서의 이동에 대해 동치성(invariance)를 유지한다.
• 수학적 기반은 log(at) = log(a) + log(t)라는 항등식에 기반하며, 이는 시간 스케일링이 로그 시간에서의 이동으로 전환됨을 의미한다.
• 가중치가 그대로 유지되므로, 더 많은 τ̂_n 점들을 추가함으로써 재학습 없이도 네트워크의 대규모 시간 스케일에 대한 일반화 능력이 향상된다.
• 뇌에서 관찰된 로그적으로 압축된 시간 코드화(예: 해마의 타임 셀)에 기반한 신경생리학적 증거와 일치하며, 인지에서의 웨버-페히너 법칙과도 부합한다.

실험 결과

연구 질문

• RQ1 재학습 없이도 시간 스케일링된 입력에 대해 일반화할 수 있는 딥 신경망을 설계할 수 있는가?
• RQ2 시간 메모리의 로그 압축이 딥 네트워크에서 시간 스케일링에 대한 불변성을 어떻게 달성하는가?
• RQ3 시간 스케일링이 가미된 분류 및 회귀 작업에서 SITHCon은 표준 TCNs보다 얼마나 뛰어나게 성능을 발휘하는가?
• RQ4 로깅된 간격으로 배치된 기저 함수의 범위를 확장함으로써 네트워크가 지수적으로 큰 시간 스케일 범위에서 일반화할 수 있는가?
• RQ5 로깅된 시간 기저 함수 접근법은 생물학적으로 타당하며, 알려진 신경 코드화 원칙과 일치하는가?

주요 결과

• SITHCon은 단변량 및 다변량 시간 시리즈 작업 모두에서 약 1개 정도의 시간 스케일링 범위에서 강건하게 일반화되며, 반면 표준 TCNs는 이러한 스케일링에서 일반화에 실패한다.
• SITHCon의 성능은 다양한 시간 스케일링 범위에서 안정적이며, 샘플 외의 스케일링된 데이터를 테스트할 때도 정확도 저하 없이 유지된다.
• 가중치 재학습 없이도 로그 간격으로 배치된 τ̂_n 점의 범위를 단순히 확장함으로써 시간 스케일링에 대한 불변성을 유지한다.
• 시간 메모리의 로그 압축은 시간 스케일링을 로그 시간에서의 이동으로 전환시켜, 네트워크 출력이 불변성을 유지하도록 한다.
• 시간 스케일링이 가미된 작업에서 SITHCon은 TCNs를 능가하며, 이는 로그 기저 함수 접근법이 더 강건하고 일반화 가능한 시간 표현을 가능하게 한다는 것을 보여준다.
• 결과는 해마의 타임 셀 등에서 관찰된 로그적으로 압축된 시간 코드화가 인공 네트워크에서 스케일 불변 시간 처리를 위한 생물학적으로 타당한 메커니즘을 제공할 수 있음을 지지한다.