[논문 리뷰] Transformer Embeddings of Irregularly Spaced Events and Their Participants

Chenghao Yang, Hongyuan Mei외 1명|arXiv (Cornell University)|2021. 12. 31.

Morphological variations and asymmetry인용 수 9

한 줄 요약

이 논문은 연속 시간에서 비등간격으로 발생하는 사건 시계열을 모델링하기 위한 Transformer 기반 아키텍처를 제안한다. 순환적 LSTMs를 자기주도 어텐션 메커니즘으로 대체하여 병렬 계산을 가능하게 하고 장거리 의존성을 향상시킨다. 이 방법은 실제 데이터셋인 RoboCup과 IPTV에서 이전 모델, 특히 신경기호 프레임워크를 포함한 모델들과 비교해도 경쟁력 있거나 더 뛰어난 성능을 달성하며, 표준 설정과 규칙 삽입 설정 모두에서 사건 유형 예측 및 로그우도 측면에서 뚜렷한 향상을 보인다.

ABSTRACT

The neural Hawkes process (Mei & Eisner, 2017) is a generative model of irregularly spaced sequences of discrete events. To handle complex domains with many event types, Mei et al. (2020a) further consider a setting in which each event in the sequence updates a deductive database of facts (via domain-specific pattern-matching rules); future events are then conditioned on the database contents. They show how to convert such a symbolic system into a neuro-symbolic continuous-time generative model, in which each database fact and the possible event has a time-varying embedding that is derived from its symbolic provenance. In this paper, we modify both models, replacing their recurrent LSTM-based architectures with flatter attention-based architectures (Vaswani et al., 2017), which are simpler and more parallelizable. This does not appear to hurt our accuracy, which is comparable to or better than that of the original models as well as (where applicable) previous attention-based methods (Zuo et al., 2020; Zhang et al., 2020a).

연구 동기 및 목표

• 연속 시간 사건 시계열 모델링을 위한 순환 신경망(RNN) 기반 모델의 보다 효율적이고 확장 가능한 대안을 개발하기 위해.
• 시간에 따라 변화하는 위치 인코딩을 통합하여 Transformer 아키텍처를 비등간격 사건을 처리할 수 있도록 확장하기 위해.
• 도메인 특화 논리 규칙(NDTT를 통해)을 어텐션 기반 모델과 통합하여 해석 가능성과 성능을 향상시키기 위해.
• 자기주도 어텐션 메커니즘이 낮은 데이터 환경과 복잡한 사건 동역학에서 RNN 및 이전 어텐션 기반 모델의 성능을 따라하거나 능가할 수 있음을 입증하기 위해.

제안 방법

• 시간 t의 쿼리 벡터가 과거 사건들을 참조하면서도 그들의 시간적 간격을 존중하도록, 연속 시간 위치 인코딩을 사용한다.
• 시간 t에서의 사건 임베딩을, 시간에 따라 특화된 위치 정보를 포함한 쿼리 벡터를 사용해 과거의 모든 사건에 대해 어텐션을 적용하여 구성한다.
• 관측된 사건과 동일한 방식으로 시간 t에서의 미래 사건 가능성을 위한 임베딩을 유도함으로써순간적 사건 강도 예측이 가능해진다.
• 각 시간 t에서 임베딩을 새로 계산함으로써 매개변수적 감쇠 함수를 피하는 A-NHP라는 Transformer 기반 신경 하크스 프로세스를 도입한다.
• 이를 바탕으로 A-NDTT를 확장하여, 사건 임베딩이 직접적인 사건 어텐션에 의존하는 대신 상징적 사실에 의존하는 신경기호 NDTT 프레임워크와 통합한다.
• 깊이 있는 사건 시계열의 문맥 표현을 구축하기 위해 레이어 간 잔차 연결과 다중헤드 어텐션을 활용한다.

실험 결과

연구 질문

• RQ1 재귀 아키텍처에 의존하지 않고도 자기주도 어텐션 메커니즘이 비등간격 사건 시계열을 효과적으로 모델링할 수 있는가?
• RQ2 LSTM을 Transformer로 대체함으로써 연속 시간 사건 모델링에서 성능 향상이 이루어지는가, 특히 낮은 데이터 환경에서?
• RQ3 어떤 어텐션 기반 모델이 더 단순하고 평탄한 아키텍처를 사용하면서도 신경기호 모델(NDTT)의 성능을 능가하거나 동등하게 유지할 수 있는가?
• RQ4 도메인 특화 논리 규칙(NDTT를 통해)의 통합이 어텐션 기반 모델의 사건 시계열 생성 성능에 어떤 영향을 미치는가?
• RQ5 연속 시간 위치 인코딩이 매개변수적 감쇠 함수 없이도 어텐션 메커니즘이 시간 역학을 모델링하는 데 얼마나 효과적으로 기여하는가?

주요 결과

• A-NHP는 RoboCup 및 IPTV 데이터셋에서 원래 NHP 모델보다 유의미하게 높은 로그우도와 사건 유형 예측 성능를 보였으며(p < 0.05, 쌍체 순열 검정), 이는 유의미한 향상이다.
• A-NDTT 모델은 원래 NDTT 모델과 유사한 성능를 달성하지만 더 단순하고 浅층적인 아키텍처를 사용함으로써, 이 특정 규칙 기반 설정에서는 어텐션 기반 모델이 유의미한 성능 향상을 가져오지 못함을 시사한다.
• IPTV 데이터셋에서 규칙 삽입과 어텐션 메커니즘은 각각 NHP의 로그우도 향상과 사건 유형 예측 오차 감소에 기여하며, 조합 시 최고의 성능를 기록한다.
• 합성 및 실제 세계 데이터셋, 특히 복잡한 시간 역학을 포함한 데이터셋에서도 어텐션 기반 모델이 이전 최고 성능를 기록한 Transformer 기반 모델들과 동등하거나 승리한다.
• 과거 사건과 시간에 특화된 쿼리 벡터를 기반으로 어텐션을 적용함으로써 매번 새로운 임베딩을 계산함으로써, 임의의 매개변수적 감쇠 함수가 필요 없어짐을 성공적으로 입증하였다.
• 자기주도 어텐션 메커니즘을 통해 학습 중 로그우도 계산을 순차적으로 수행하지 않고도 병렬 처리가 가능해졌으며, 이는 자동회귀 RNN과는 대조적으로 비재귀적 구조 덕분이다.