[논문 리뷰] Seq2Tens: An Efficient Representation of Sequences by Low-Rank Tensor Projections

Csaba Tóth, Patric Bonnier외 1명|arXiv (Cornell University)|2020. 06. 12.

Computational Physics and Python Applications참고 문헌 101인용 수 4

한 줄 요약

이 논문은 자유 대수 구조 프레임워크 내에서 저질서 텐서 투영을 사용하여 순서 의존성의 비가환성을 효율적으로 포착하는 Seq2Tens라는 방법을 소개한다. 정적 특징 맵을 구조화된 텐서 대수로 업그레이드하고, 저질서 근사값을 적용하여 확장 가능하고 모odu lar한 신경망 레이어를 가능하게 하며, 多변량 시계열 분류, 사망 예측, 영상 생성 벤치마크에서 최고 성능을 달성한다.

ABSTRACT

Sequential data such as time series, video, or text can be challenging to analyse as the ordered structure gives rise to complex dependencies. At the heart of this is non-commutativity, in the sense that reordering the elements of a sequence can completely change its meaning. We use a classical mathematical object -- the tensor algebra -- to capture such dependencies. To address the innate computational complexity of high degree tensors, we use compositions of low-rank tensor projections. This yields modular and scalable building blocks for neural networks that give state-of-the-art performance on standard benchmarks such as multivariate time series classification and generative models for video.

연구 동기 및 목표

• 순서 구조로 인해 복잡한 비가환적 의존성을 가지는 순서 데이터를 모델링하는 데 도전하는 것.
• 고정 길이 벡터화에 의존하지 않고도 구조적 정보를 유지하는 확장 가능하고 모듈러한 순서 표현을 개발하는 것.
• 전통적인 문자열 및 시계열 방법을 일반화하는 이론적으로 탄탄한 보편적인 특징 맵을 제공하는 것.
• 대수적 구조와 저질서 텐서 근사값을 조합하여 순서 모델링을 위한 효율적인 딥 러닝 아키텍처를 가능하게 하는 것.
• 시간 시계열, 영상, 텍스트를 포함한 분류 및 생성적 순서 모델링 작업 전반에 걸쳐 이 방법의 효과성을 입증하는 것.

제안 방법

• 정적 특징 맵 $\phi: \mathcal{X} \to V$ 를 비가환적 곱을 지원하는 자유 대수 $\mathrm{T}(V)$ 로 업그레이드하여 순서를 인코딩한다.
• 곱셈을 $\mathrm{T}(V)$ 에서 수행하여 순서 특징 맵 $\Phi(\mathbf{x}) = \prod_{i=1}^L \varphi(\mathbf{x}_i)$ 를 구성하며, 여기서 $\varphi$ 는 $\phi$ 의 업그레이드된 형태이다.
• 알고리즘적 곱에 저질서 텐서 분해를 적용하여 계산 복잡도를 감소시키면서도 표현 능력을 유지한다.
• 이러한 텐서 투영 기반으로 구조화된 신경망 레이어인 LS2T 및 B-LS2T 를 도입하여 분류 및 생성 모델 모두에 활용한다.
• 모델에서 차분 연산을 사용할 경우 훈련을 안정화하기 위해 전방 보간(Forward imputation)을 0 보간보다 우선 적용한다.
• 원래 논문과 동일한 초모델 설정을 유지하면서 GP-VAE 모델의 인코더에 이중 방향 LS2T 레이어를 적용하여 전반적인 순서 표현을 향상시켰다.

실험 결과

연구 질문

• RQ1 비가환적 순서를 존중하는 대수적 텐서 곱을 사용하여 보편적이고 구조화되며 효율적인 순서 표현을 구성할 수 있는가?
• RQ2 자유 대수 기반 순서 표현의 계산 복잡도는 어떻게 줄일 수 있으며, 표현 능력은 유지할 수 있는가?
• RQ3 자유 대수 프레임워크 내에서 저질서 텐서 투영이 실제 세계의 순서 모델링 벤치마크에서 성능 향상에 얼마나 기여하는가?
• RQ4 제안된 방법은 분류 및 생성적 딥 러닝 모델 모두에 효과적으로 통합될 수 있는가?
• RQ5 LS2T 레이어를 통한 인코더의 전역 맥락 모델링 향상이 순서 복원 및 예측 작업에서 측정 가능한 성능 향상으로 이어지는가?

주요 결과

• Seq2Tens 방법은 다변량 시계열 분류, 사망 예측, 영상 생성 벤치마크에서 최고 성능을 달성하였다.
• GP-VAE 모델에서 표준 인코더를 B-LS2T 레이어로 교체함으로써 HMNIST 와 Physionet 에서 재구성 성능이 향상되었으며, 정보 볼류터블을 완화했을 때 Sprites 에서 MSE 에 상대적 향상이 있었다.
• 인코더의 첫 번째 합성곱 레이어의 너비를 $h=32$ 에서 $h=256$ 로 늘임으로써 정보 볼류터블이 감소하고, GP-VAE (B-LS2T) 의 MSE 가 $1.3 \times 10^{-3} \pm 4.9 \times 10^{-5}$ 로 향상되어 베이스라인을 초월하였다.
• 향상된 성능는 B-LS2T 레이어의 전역 모델링 이점을 완전히 실현할 수 있도록 인코더의 능력이 향상되었기 때문으로 기인되었다.
• 모델에서 차분 연산과 함께 사용할 경우 전방 보간이 0 보간보다 더 안정적이며, 결측 데이터 영역의 진동을 감소시켰다.
• 이 방법은 생성 모델인 GP-VAE 를 포함한 다양한 순서 모델링 아키텍처에서 민첩하고 확장 가능한 빌딩 블록으로 널리 적용 가능함을 입증하였다.