[논문 리뷰] Time-Dependent Representation for Neural Event Sequence Prediction

Yang Li, Nan Du외 1명|arXiv (Cornell University)|2017. 07. 31.

Topic Modeling인용 수 5

한 줄 요약

이 논문은 RNN을 사용한 신경 시퀀스 예측을 위한 시간에 따라 변하는 이벤트 표현을 제안하며, 원시 타임스탬프보다 더 효과적으로 시간 간격을 인코딩하기 위해 시간 마스킹과 공동 임베딩을 도입한다. 또한 지속 시간 기반 정규화를 제안하여 애플 사용 기록 및 음악 추천과 같은 다양한 데이터셋에서 일관된 정확도 향상을 달성했으며, RMTPP를 포함한 베이스라인을 모두 능가하는 TimeJoint의 성능을 보였다.

ABSTRACT

Existing sequence prediction methods are mostly concerned with time-independent sequences, in which the actual time span between events is irrelevant and the distance between events is simply the difference between their order positions in the sequence. While this time-independent view of sequences is applicable for data such as natural languages, e.g., dealing with words in a sentence, it is inappropriate and inefficient for many real world events that are observed and collected at unequally spaced points of time as they naturally arise, e.g., when a person goes to a grocery store or makes a phone call. The time span between events can carry important information about the sequence dependence of human behaviors. In this work, we propose a set of methods for using time in sequence prediction. Because neural sequence models such as RNN are more amenable for handling token-like input, we propose two methods for time-dependent event representation, based on the intuition on how time is tokenized in everyday life and previous work on embedding contextualization. We also introduce two methods for using next event duration as regularization for training a sequence prediction model. We discuss these methods based on recurrent neural nets. We evaluate these methods as well as baseline models on five datasets that resemble a variety of sequence prediction tasks. The experiments revealed that the proposed methods offer accuracy gain over baseline models in a range of settings.

연구 동기 및 목표

• 기존 시퀀스 모델이 시간을 이산적 또는 무시하는 방식으로 다루는 한계를 해결하기 위해 연속적인 시간 간격을 의미적으로 통합하는 것.
• 이벤트 시퀀스에서 지속 시간과 시점적 맥락이 행동 예측에 영향을 주는 인간과 유사한 시간 인지 모델링.
• 이벤트 순서를 초월한 시간적 의존성을 포착하는 시간에 따라 변하는 표현을 학습함으로써 시퀀스 예측 정확도 향상.
• 다음 이벤트 지속 시간을 정규화자로 활용하여 모델 일반화 능력과 시간적 추론 성능 향상 탐색.

제안 방법

• 상호 이벤트 간 지속 시간에 기반한 학습된 시간 인지 마스크를 사용해 이벤트 임베딩을 수정하는 TimeMask 도입.
• 시간 간격의 소프트 one-hot 인코딩을 사용해 이벤트와 시간 간격을 공동 임베딩하는 TimeJoint 제안.
• 스칼라 시간 값에서 밀도 높고 저차원 표현으로 변환하기 위해 학습된 투영을 적용하여 시간 구분을 유지.
• 두 가지 손실 함수를 통해 다음 이벤트 지속 시간을 정규화자로 활용: 지속 시간 예측의 음의 로그우도와 투영된 이산 공간에서의 교차 엔트로피.
• 실세계 이벤트 시퀀스에서 엔드 투 엔드 최적화를 수행하는 RNN(LSTM)을 사용해 모델 훈련.
• 대규모 데이터셋에서의 확장성을 확보하기 위해 GPU 클러스터에서 비동기 업데이트를 사용한 분산 훈련 구현.

실험 결과

연구 질문

• RQ1 간단한 타임스탬프 입력이나 고정된 시간 구간 분할을 넘어서 시간 인지 표현이 신경 시퀀스 예측 성능 향상에 기여할 수 있는가?
• RQ2 RNN에서 원시 시간 값 대비 학습된 맥락 의존적 임베딩으로 시간을 모델링할 경우 성능에 어떤 영향을 미치는가?
• RQ3 다음 이벤트 지속 시간을 정규화자로 통합함으로써 이벤트 시퀀스 모델링에서 일반화 능력과 예측 정확도 향상이 이루어지는가?
• RQ4 시간에 따라 변하는 표현이 성능 향상에 기여하지 못하는 상황는 언제이며, 그 이유는 무엇인가?
• RQ5 다양한 실세계 시퀀스에서 시간 동적 특성을 포착하는 데 있어 TimeMask와 TimeJoint의 시간 표현 방법은 어떻게 비교되는가?

주요 결과

• Stack Overflow와 금융 데이터에서 TimeJoint는 RMTPP를 포함한 모든 베이스라인을 p<0.05의 대응 t-검정에서 승리했다.
• 앱 사용 데이터셋에서 TimeJoint는 Precision@1이 31.53%를 기록했으며, 다음으로 좋은 베이스라인보다 0.22% 향상된 성능을 보였다.
• 음악 추천 데이터셋에서 TimeJoint는 MAP20이 14.20을 기록했으며, 최고의 베이스라인 대비 0.37% 향상된 성능을 보였다.
• 지속 시간 기반 정규화자 $R_t^X$는 여러 데이터셋에서 일관되게 성능 향상을 보였으며, 일반화 능력 향상에 효과적임을 시사했다.
• 시간을 임베딩과 직접 연결하는 TimeConcat은 성능 저하를 유발하기도 해, 간단한 시간 통합 방식이 최적은 아님을 보여주었다.
• MIMIC II에서는 어떤 방법도 베이스라인을 초월하지 못했으며, 이는 시간 정보가 모든 도메인에서 예측 가능하지 않음을 시사하며 맥락 의존성의 중요성을 강조했다.