[논문 리뷰] Time2Vec: Learning a Vector Representation of Time

Seyed Mehran Kazemi, Rishab Goel외 8명|arXiv (Cornell University)|2019. 07. 11.

Time Series Analysis and Forecasting참고 문헌 59인용 수 51

한 줄 요약

Time2Vec는 학습 가능한 시간 벡터 표현을 도입하여 다양한 아키텍처에 연결할 수 있으며, 합성 데이터 및 실제 시간 인식 작업 모두에서 성능을 향상시킵니다.

ABSTRACT

Time is an important feature in many applications involving events that occur synchronously and/or asynchronously. To effectively consume time information, recent studies have focused on designing new architectures. In this paper, we take an orthogonal but complementary approach by providing a model-agnostic vector representation for time, called Time2Vec, that can be easily imported into many existing and future architectures and improve their performances. We show on a range of models and problems that replacing the notion of time with its Time2Vec representation improves the performance of the final model.

연구 동기 및 목표

• 주기적 및 비주기적 패턴을 모두 포착하는 일반 목적의 시간 표현의 필요성을 동기화합니다.
• 다양한 모델과 통합되는 학습 가능한 시간 임베딩인 Time2Vec를 제안합니다.
• Time2Vec가 여러 아키텍처와 데이터세트에서 성능을 향상시킨다는 것을 보인다.
• Time2Vec가 시간에 대해 학습하는 것이 무엇인지 분석하고, 주기적 활성화와 비주기적 활성화, 고정 주파수/위상과 학습 주파수/위상의 차이를 비교합니다.]
• method:["Time2Vec를 크기가 k+1인 벡터로 정의하되 선형 항과 k개의 사인 기반 주기 항을 가지며, 주파수와 위상 모두 학습 가능하다고 명시합니다.","i = 1..k에 대해 주기적 활성화 함수(사인)를 사용하고, i = 0에 대해서는 비주기적 진행을 포착하기 위해 선형 항을 사용합니다.","모델의 시간 입력 tau를 t2v(tau)로 바꾸고 아키텍처별 시간 처리 방식을 이에 맞춰 조정합니다.","다양한 데이터세트와 아키텍처(LSTM+T, LSTM+Time2Vec, TLSTM1, TLSTM3 등)에서 Time2Vec를 실험하여 성능 향상을 평가합니다.","주기적 활성화와 비주기적 활성화 및 학습된 주파수/위상의 영향과 비교합니다.","선형 항의 필요성과 학습된 주파수가 가지는 효과에 대한 제거 연구(ablation studies)를 제공합니다."]
• research_questions:[
• Is Time2Vec an effective representation for time across diverse tasks and datasets?
• Can Time2Vec be integrated with different architectures to improve performance?
• What patterns do the learned sine components capture about time (periodicity, frequencies)?
• Do periodic activations outperform non-periodic activations in Time2Vec-based models?
• Is learning sine frequencies/phases beneficial compared to fixing them?

실험 결과

연구 질문

• RQ1 Time2Vec가 다양한 작업과 데이터셋에서 시간의 효과적인 표현인가?
• RQ2 Time2Vec를 다양한 아키텍처에 통합하여 성능을 향상시킬 수 있는가?
• RQ3 학습된 사인 구성요소가 시간에 대해 어떤 패턴(주기성, 주파수)을 포착하는가?
• RQ4 Time2Vec 기반 모델에서 주기적 활성화가 비주기적 활성화보다 성능이 더 우수한가?
• RQ5 학습된 사인 주파수/위상이 이를 고정하는 것보다 이로운가?

주요 결과

• Time2Vec는 다수의 데이터세트와 아키텍처에서 Time2Vec를 원시 특성으로 사용할 때보다 성능을 향상시킵니다.
• TLSTM1과 TLSTM3에서 시간을 Time2Vec로 대체하면 Last.FM과 CiteULike에서 성능 향상을 얻습니다.
• 합성 데이터에서 Time2Vec는 기저 주기성(예: 7일 주기)을 학습하고 위상 시프트를 정렬하여 주기적 이벤트를 구분합니다.
• Event-MNIST 실험에서 학습된 사인 주파수와 위상이 고정 주파수 인코딩보다 우수합니다.
• 주기적 활성화(사인, 모듈, 삼각형)가 일반적으로 Time2Vec의 비주기적 활성화보다 우수합니다.
• 선형 항을 포함하여 주파수와 함께 사용하면 비주기적 시간 패턴을 포착하고 외삽 성능을 개선할 수 있습니다.