[논문 리뷰] DeepSITH: Efficient Learning via Decomposition of What and When Across Time Scales

Brandon G. Jacques, Zoran Tiganj외 2명|OpenBU (Boston University)|2021. 04. 09.

Neural Networks and Applications참고 문헌 23인용 수 5

한 줄 요약

DeepSITH는 생물학적으로 영감을 얻은 척도 불변 시간 역사(스케일 인variant 히스토리, SITH) 모듈을 사용하여 시간 기억을 '무엇'과 '언제'로 분해하는 딥 순환 네트워크를 소개한다. 이 모듈은 기하학적으로 배치된 필터를 통해 시간을 로그 스케일로 표현한다. 이는 매크시-글라스 및 sMNIST와 같은 장기 의존성 태스크에서 최신 기술 성능을 달성하며, 다양한 지연 시간과 노이즈에 대해 안정적인 훈련을 보인다.

ABSTRACT

Extracting temporal relationships over a range of scales is a hallmark of human perception and cognition -- and thus it is a critical feature of machine learning applied to real-world problems. Neural networks are either plagued by the exploding/vanishing gradient problem in recurrent neural networks (RNNs) or must adjust their parameters to learn the relevant time scales (e.g., in LSTMs). This paper introduces DeepSITH, a network comprising biologically-inspired Scale-Invariant Temporal History (SITH) modules in series with dense connections between layers. SITH modules respond to their inputs with a geometrically-spaced set of time constants, enabling the DeepSITH network to learn problems along a continuum of time-scales. We compare DeepSITH to LSTMs and other recent RNNs on several time series prediction and decoding tasks. DeepSITH achieves state-of-the-art performance on these problems.

연구 동기 및 목표

• 순환 신경망에서 장기 시간 의존성을 학습하는 데 있어 기울기 소실/폭발 문제로 인한 도전 과제를 해결하기 위해.
• 다양한 시간 스케일에서 시간 관계를 포착할 수 있는 생물학적으로 타당한 척도 불변 기억 메커니즘을 개발하기 위해.
• 깊이 있는 계층에서 '무엇'(콘텐츠)과 '언제'(시기) 정보를 분해함으로써 시퀀스 모델링의 일반화 능력과 효율성을 향상시키기 위해.
• 시간 지연이 크게 변하는 경우, 노이즈가 있거나 스케일링된 입력이 있는 태스크에서 강건한 성능을 발휘할 수 있도록 하기 위해.

제안 방법

• 각 DeepSITH 레이어는 감마 함수 기반 필터 Φₖ(t/τ̂)를 사용하여 과거 입력의 시간 압축 표현을 계산하는 척도 불변 시간 역사(SITH) 모듈을 사용한다. 이 필터는 시간 지연 τ̂에서 최고조화를 이룬다.
• SITH 필터는 시간 지연에 대해 기하학적으로 배치되어 있어 시간 역사에 대한 로그 스케일 압축을 가능하게 하며, 뇌에서 관찰된 신경 시간 세포를 모방한다.
• 밀도형, 학습 가능한 레이어들이 연속된 SITH 레이어들을 연결하여 계층 간 '무엇' 표현을 변환함으로써 계층적 시간 특징을 구축한다.
• 네트워크는 연속 시간 공식화를 사용하며, SITH 상태는 사전 계산된 필터와의 컨볼루션을 통해 계산되어 미분 가능성이 보장되고 안정적인 훈련이 가능하다.
• 시간 세포 표현은 척도 불변이다: 필터의 너비는 시간 지연과 함께 선형적으로 증가하여 오래된 사건이 점차 흐려지게 된다.
• 아키텍처는 RNN의 즉각적인 교체로 설계되었으며, 최소한의 하이퍼파라미터 조정과 표준 훈련 절차와의 호환성을 확보한다.

실험 결과

연구 질문

• RQ1 생물학적으로 영감을 얻은 척도 불변 시간 표현이 딥 RNN에서 장기 의존성을 학습하는 데 개선 효과를 줄 수 있는가?
• RQ2 계층 간 '무엇'과 '언제' 정보를 분해함으로써 장지연 태스크에서 일반화 능력과 성능이 향상되는가?
• RQ3 다양한 시간 지연에서 DeepSITH가 LSTMs, LMUs, coRNNs와 비교해 정확도와 훈련 안정성 측면에서 어떻게 성능을 내는가?
• RQ4 SITH 모듈의 시간 압축이 입력 시퀀스의 시간 스케일링에 대해 불변성을 제공할 수 있는가?
• RQ5 SITH 모듈의 점진적인 시간 정밀도 손실이 실제 작업에서 학습을 방해하기보다는 오히려 지원하는가?

주요 결과

• DeepSITH는 매크시-글라스 시간 시리즈 예측 태스크에서 LSTMs와 다른 최신 기술 RNN을 능가하는 최신 기술 성능을 달성했다.
• Adding Problem에서 모든 테스트된 입력 지연 시간 동안 일관된 훈련 속도와 정확도를 유지했으며, LSTMs와 달리 장지연에서 성능 저하가 발생하지 않았다.
• Hateful-8 태스크에서 노이즈 수준에 관계없이 100% 정확도를 달성했으며, LMU 네트워크의 성능과 동일했다.
• 로그 스케일 시간 표현 덕분에 스케일링된 입력에 대해 잘 일반화되었으며, 이는 시스템이 시간 재스케일링에 대해 이동-공변성(translation-covariant)이 되게 한다.
• SITH 모듈은 넓은 시간 스케일 범위에서 안정적인 학습을 가능하게 했으며, 지연 시간이 크게 증가하더라도 성능 저하 없이 유지되었다.
• '무엇'과 '언제'의 분해를 깊이 있는 계층을 통해 수행함으로써, 초기 레이어는 세밀한 시간 패턴을 포착하고 더 깊은 레이어는 넓은 시간 스케일에서의 개요를 추상화할 수 있었다.