[논문 리뷰] Self-attention with Functional Time Representation Learning

Da Xu, Chuanwei Ruan외 3명|arXiv (Cornell University)|2019. 11. 28.

Advanced Graph Neural Networks인용 수 36

한 줄 요약

논문은 연속 시계열의 연속 시간 차이를 자기 주의에 통합하기 위한 기능적 시간 임베딩을 도입하고, Bochner과 Mercer 이론적 기초를 사용하며 실제 데이터셋에서 예측 성능이 향상됨을 보인다.

ABSTRACT

Sequential modelling with self-attention has achieved cutting edge performances in natural language processing. With advantages in model flexibility, computation complexity and interpretability, self-attention is gradually becoming a key component in event sequence models. However, like most other sequence models, self-attention does not account for the time span between events and thus captures sequential signals rather than temporal patterns. Without relying on recurrent network structures, self-attention recognizes event orderings via positional encoding. To bridge the gap between modelling time-independent and time-dependent event sequence, we introduce a functional feature map that embeds time span into high-dimensional spaces. By constructing the associated translation-invariant time kernel function, we reveal the functional forms of the feature map under classic functional function analysis results, namely Bochner's Theorem and Mercer's Theorem. We propose several models to learn the functional time representation and the interactions with event representation. These methods are evaluated on real-world datasets under various continuous-time event sequence prediction tasks. The experiments reveal that the proposed methods compare favorably to baseline models while also capturing useful time-event interactions.

연구 동기 및 목표

• 이산 위치 인코딩을 넘어 자기 주의에서 연속적 시간 패턴을 포착해야 한다는 필요성을 제시합니다.
• 시간 간격을 벡터 공간에 임베딩하기 위한 번역 불변 시간 커널과 기능형 특징 맵을 제안합니다.
• Bochner 기반과 Mercer 기반 시간 임베딩을 도출하고 시간과 이벤트 표현 간의 학습 가능한 상호 작용을 비교합니다.
• 실세계 데이터셋에서 접근 방식을 실험적으로 검증하고 연속 시간 이벤트 시퀀스 예측의 향상된 성능을 보여줍니다.

제안 방법

• 시간 임베딩을 변환 불변 커널 K(t1,t2)=ψ(t1−t2)와 특징 맵 Φ로 형식화합니다.
• Bochner의 정리(무작위 푸리에 특징)와 Mercer의 정리(푸리에 기저/주기 커널)를 이용해 유한 차원 임베딩을 얻습니다.
• Φ를 학습하기 위한 재매개화, 역CDF 변환 또는 비모수 옵션을 사용한 실용적인 Bochner 시간 인코딩 변형을 제공합니다.
• Mercer 시간 임베딩을 학습 가능한 계수와 여러 대역폭을 커버하는 주파수 집합으로 잘려진 푸리에 기저로 제안합니다.
• 시간 임베딩을 이벤트 임베딩과 연결하여 자기 주의에 Z(이벤트)와 Φ(t) (시간)를 이어 붙이고 Q/K/V 투영에 입력합니다.
• 시간-이벤트 상호 작용을 선형 또는 비선형(MLP) 변환 및 선택적으로 잔차 블록으로 모델링해 복잡한 의존성을 포착합니다.

실험 결과

연구 질문

• RQ1 연속 시간 차이가 원리 기반의 커널 기반 시간 표현을 통해 자기 주의에 효과적으로 임베딩될 수 있습니까?
• RQ2 어떤 기능적 형태(Bochner 대 Mercer)가 딥 모델과 호환되는 강건하고 학습 가능한 시간 임베딩을 제공합니까?
• RQ3 시간 인식 임베딩이 표준 위치 인코딩 및 시간 보강 baselines 대비 연속 시간 이벤트 시퀀스 예측을 개선합니까?

주요 결과

• Mercer 및 Bochner 기반 시간 임베딩은 실세계 데이터셋 전반에 걸쳐 베이스라인보다 일관되게 성능을 향상시킵니다.
• Mercer 시간 임베딩은 푸리에 기저와 함께 최상의 전반적 성능을 자주 보여주며, 시간-이벤트 상호 작용 모델링에 효과적입니다.
• Bochner 시간 임베딩은 비모수 역CDF 변환으로도 강력한 결과를 보여주며 때로는 베이스라인을 능가합니다.
• Bochner 방법은 유연한 분포 학습(예: Inv CDF, MAF, NVP)을 통해 이점을 얻고, Mercer는 잘려진 푸리에 확장으로 안정성을 제공합니다.
• 임베딩에 의해 포착된 시간-이벤트 상호 작용은 주의 가중치에서 해석 가능한 시간적 패턴을 드러냅니다(정성적 분석).