[논문 리뷰] Tensorized Transformer for Dynamical Systems Modeling

Anna Shalova, Ivan Oseledets|arXiv (Cornell University)|2020. 06. 05.

Model Reduction and Neural Networks참고 문헌 34인용 수 4

한 줄 요약

이 논문은 단위 격자로 위상공간을 이산화하고 텐서트레이스 인수분해를 사용하여 파arameter 증가를 O(N^d)에서 O(dN)로 줄이는 텐서화된 트랜스포머 디코더 모델을 제안한다. 역동적 시스템을 확률적 예측을 포함하는 시퀀스 모델링 문제로 간주함으로써, 이 방법은 혼돈 시스템의 불변 집합을 유지하고, 특히 미세 격자 이산화와 반복 학습을 통해 기존의 LSTM 및 딥 쿠페르만 모델에 비해 장기 예측 정확도에서 뛰어난 성능을 달성한다.

ABSTRACT

The identification of nonlinear dynamics from observations is essential for the alignment of the theoretical ideas and experimental data. The last, in turn, is often corrupted by the side effects and noise of different natures, so probabilistic approaches could give a more general picture of the process. At the same time, high-dimensional probabilities modeling is a challenging and data-intensive task. In this paper, we establish a parallel between the dynamical systems modeling and language modeling tasks. We propose a transformer-based model that incorporates geometrical properties of the data and provide an iterative training algorithm allowing the fine-grid approximation of the conditional probabilities of high-dimensional dynamical systems.

연구 동기 및 목표

• 초기 조건에 민감하고 유계 불변 집합을 가지는 고차원 혼돈 시스템을 모델링하는 데 도전하는 것.
• 위상공간의 기하학적 구조를 활용하여 연속 역동성의 이산적 확률 모델링에서 차원의 극복 문제를 해결하는 것.
• 확률적이고 시퀀스 기반의 학습을 통해 혼돈 시스템의 불변 집합을 유지하는 확장 가능하고 미분 가능한 모델을 개발하는 것.
• 점진적이고 반복적인 이산화 격자 및 텐서화된 임bedding을 통한 효율적 학습을 가능하게 하는 것.
• 혼돈 시스템에서 직접 함수 근사보다 조건부 상태 전이의 확률적 모델링이 더 우수한 성능을 내는지 검증하는 것.

제안 방법

• 연속적인 위상공간을 균일한 격자로 이산화하여 연속 궤적을 시퀀스 모델링을 위한 이산적 시퀀스로 변환한다.
• 텐서 코딩 레이어는 임베딩 행렬을 저질량 텐서트레이스 성분으로 분해하여 모델 크기를 O(N^d)에서 O(dN)로 감소시킨다.
• 트랜스포머 디코더는 다중 헤드 자기주의를 사용하여 이전 상태의 이산 상태 기록을 바탕으로 다음 상태의 조건부 확률 분포를 모델링한다.
• 분류 레이어는 차원을 따라 분해되어 각 차원에서 독립적으로 다음 상태 인덱스를 예측함으로써 지수적 증가를 방지한다.
• 점진적이고 반복적인 학습 알고리즘은 거칠은 격자에서 시작하여 점차 해상도를 높이며 모델을 정밀화한다.
• 예측된 인덱스는 격자 셀 중심을 사용하여 연속 공간으로 매핑되어 연속 궤적 재구성가능하다.

실험 결과

연구 질문

• RQ1 트랜스포머 기반 모델은 이산적 확률 모델링을 통해 고차원 혼돈 시스템의 불변 측도를 효과적으로 학습할 수 있는가?
• RQ2 텐서트레이스 인수분해를 어떻게 활용하여 고차원 혼돈 시스템의 시퀀스 모델링을 계산적으로 가능하게 할 수 있는가?
• RQ3 점차적으로 더 미세한 격자로 진행되는 점진적 학습이 혼돈 시스템의 수렴성과 장기 예측 정확도를 향상시키는가?
• RQ4 기하학적 구조를 고려한 분해된 확률 모델은 직접 함수 근사보다 혼돈 시스템의 불변 집합을 더 잘 유지하는가?
• RQ5 텐서화된 트랜스포머의 성능은 로렌츠-96 및 로시엘러 시스템에서 표준 기준 모델인 LSTM 및 딥 쿠페르만 모델에 비해 어떻게 비교되는가?

주요 결과

• 미세 격자 이산화에서 로시엘러 시스템에서 LSTM 및 딥 쿠페르만 모델에 비해 텐서화된 트랜스포머가 장기 예측 정확도에서 뛰어난 성능을 보였다.
• 모델은 결정론적 궤적 대신 조건부 확률을 모델링함으로써 혼돈 시스템의 불변 집합을 유지한다.
• 점진적 학습을 통해 점차 해상도를 높이는 방식은 TT-임베딩 구성 요소의 변화를 통해 매끄러운 표현과 더 빠른 수렴을 이끌어냈다.
• 거칠은 이산화에서도 모델은 해석 가능하고 안정적인 행동을 보이며, 격자 해상도에 대해 강건함을 보였다.
• 분해된 분류 레이어 덕분에 O(dN)의 파라미터 스케일링을 통해 고차원 상태 공간에서 효율적인 예측이 가능해졌으며, O(N^d)의 지수적 증가를 피할 수 있었다.
• 로렌츠-96 시스템에서도 경쟁 가능한 성능을 달성하여, 저차원 혼돈 애트랙터를 넘어서 일반화 가능성을 입증했다.