[논문 리뷰] HYPRO: A Hybridly Normalized Probabilistic Model for Long-Horizon Prediction of Event Sequences

Siqiao Xue, Xiaoming Shi외 2명|arXiv (Cornell University)|2022. 10. 04.

Time Series Analysis and Forecasting인용 수 4

한 줄 요약

HYPRO는 자동회귀 기반 모델과 에너지 함수를 조합하여 장기 예측 성능을 향상시키는 하이브리드로 정규화된 확률 모델이다. 전역적 실현 가능성에 기반해 자동회귀적으로 생성된 시퀀스를 재가중함으로써 오류 전파를 줄이고, 실제 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성하며, 자동회귀 및 비자동회귀 기반 모델을 모두 능가한다.

ABSTRACT

In this paper, we tackle the important yet under-investigated problem of making long-horizon prediction of event sequences. Existing state-of-the-art models do not perform well at this task due to their autoregressive structure. We propose HYPRO, a hybridly normalized probabilistic model that naturally fits this task: its first part is an autoregressive base model that learns to propose predictions; its second part is an energy function that learns to reweight the proposals such that more realistic predictions end up with higher probabilities. We also propose efficient training and inference algorithms for this model. Experiments on multiple real-world datasets demonstrate that our proposed HYPRO model can significantly outperform previous models at making long-horizon predictions of future events. We also conduct a range of ablation studies to investigate the effectiveness of each component of our proposed methods.

연구 동기 및 목표

• 순차적 의존성으로 인해 오류 전파 문제가 발생하는 장기 예측 문제를 해결하기 위해.
• 지역적 확률이 아닌 전역적 타당성에 기반해 후보 시퀀스를 재가중함으로써 예측 품질을 향상시키는 확률 모델을 개발하기 위해.
• 에너지 기반 모델의 계산이 불가능한 정규화 상수를 피하는 효율적인 학습 및 추론 알고리즘을 설계하기 위해.
• 다양한 실제 데이터셋(전자상거래 및 교통 분야 포함)에서 제안된 프레임워크의 효과를 실증적으로 검증하기 위해.

제안 방법

• HYPRO는 후보 미래 이벤트 시퀀스를 생성하는 자동회귀 기반 모델(예: 연속시간 트랜스포머)을 기반으로 한다.
• 에너지 함수는 완전한 시퀀스(과거 + 예측된 미래)의 전역적 실현 가능성을 평가하고, 더 타당한 시퀀스일수록 높은 점수를 할당한다.
• 에너지 함수를 정규화 상수를 계산하지 않고도 학습하기 위해 노이즈 대비 추정(NCE) 기반의 이진 및 다중 클래스 변형을 사용한다.
• 최종 하이브리드 모델 분포에서 예측을 효율적으로 추출하기 위해 정규화된 중요도 샘플링 추론 알고리즘을 사용한다.
• 특히 이진-NCE 학습에서 실재 시퀀스와 부정적 시퀀스 간의 분리가 잘 이루어지도록 유도하기 위해 손실에 정규화 항을 도입한다.
• 프레임워크는 모듈식 설계로, 기반 모델로 어떤 자동회귀 모델도 사용할 수 있고, 에너지 함수로는 트랜스포머나 LSTM 등 다양한 아키텍처를 활용할 수 있다.

실험 결과

연구 질문

• RQ1 자동회귀적 생성과 에너지 기반 재가중을 조합한 하이브리드 모델이 순수 자동회귀 모델에 비해 장기 예측 성능을 향상시키는가?
• RQ2 완전한 시퀀스를 평가하는 에너지 함수의 사용이 지역적 오류를 전역 일관성으로 교정함으로써 예측 품질을 향상시키는가?
• RQ3 정규화를 명시적으로 계산하지 않고도 에너지 함수를 학습하는 데에 노이즈 대비 추정 기반의 학습 목표가 얼마나 효과적인가?
• RQ4 에너지 함수 아키텍처의 차이(예: 트랜스포머 대비 LSTM)가 모델 성능에 어떤 영향을 미치는가?
• RQ5 부정적 샘플의 수와 정규화의 영향은 학습 안정성과 추론 품질에 어떤 영향을 미치는가?

주요 결과

• Taobao 데이터셋에서 HYPRO는 모든 예측 수준에서 자동회귀 기반 모델 AttNHP를 뛰어넘었으며, 수준이 높아질수록 일관된 성능 향상이 관찰되었다.
• Taobao 데이터셋에서 연속시간 트랜스포머 기반 에너지 함수를 사용한 HYPRO가 자동회귀 기반 모델과 비자동회귀 모델을 모두 능가하는 최고의 성능을 기록했다.
• 이진-NCE 학습에서 거리 정규화를 적용한 결과 통계적으로 유의미한 성능 향상(p < 0.05)을 보였으며, 다중-NCE에서는 유의미한 영향이 없었다(p ≈ 0.1).
• 부정적 샘플의 수를 늘릴수록 학습 및 추론 성능이 일정 수준까지 향상되었으며, 학습 시 10개, 추론 시 20개의 부정적 샘플에서 성능이 정점에 이르렀다.
• 모든 실험에서 연속시간 트랜스포머 기반 에너지 함수가 LSTM 기반 에너지 함수보다 뛰어난 성능을 보였으며, 이는 더 우수한 문맥 모델링 능력을 의미한다.
• 정규화된 중요도 샘플링은 전체 HYPRO 모델에서 효율적인 추론을 가능하게 하여 장기 예측의 실현 가능성과 확장성을 확보했다.