[논문 리뷰] From Known to Unknown: Knowledge-guided Transformer for Time-Series Sales Forecasting in Alibaba

Xinyuan Qi, Kai Hou외 4명|arXiv (Cornell University)|2021. 09. 17.

Time Series Analysis and Forecasting참고 문헌 23인용 수 7

한 줄 요약

이 논문은 향후 알려진 정보(예: 예정된 프 motions)를 예측 과정에 통합함으로써 전자상거래에서 시계열 판매 예측을 향상시키는 지식 유도형 Transformer 모델인 Aliformer을 제안한다. 이중성 주의 메커니즘과 지식 유도 브랜치, 향후 정보 강조 학습을 통해 Aliformer는 공개 및 산업 데이터셋에서 최신 기술(SOTA)을 초월하여 프로모션 기간 동안의 판매 예측 정확도를 크게 향상시킨다.

ABSTRACT

Time series forecasting (TSF) is fundamentally required in many real-world applications, such as electricity consumption planning and sales forecasting. In e-commerce, accurate time-series sales forecasting (TSSF) can significantly increase economic benefits. TSSF in e-commerce aims to predict future sales of millions of products. The trend and seasonality of products vary a lot, and the promotion activity heavily influences sales. Besides the above difficulties, we can know some future knowledge in advance except for the historical statistics. Such future knowledge may reflect the influence of the future promotion activity on current sales and help achieve better accuracy. However, most existing TSF methods only predict the future based on historical information. In this work, we make up for the omissions of future knowledge. Except for introducing future knowledge for prediction, we propose Aliformer based on the bidirectional Transformer, which can utilize the historical information, current factor, and future knowledge to predict future sales. Specifically, we design a knowledge-guided self-attention layer that uses known knowledge's consistency to guide the transmission of timing information. And the future-emphasized training strategy is proposed to make the model focus more on the utilization of future knowledge. Extensive experiments on four public benchmark datasets and one proposed large-scale industrial dataset from Tmall demonstrate that Aliformer can perform much better than state-of-the-art TSF methods. Aliformer has been deployed for goods selection on Tmall Industry Tablework, and the dataset will be released upon approval.

연구 동기 및 목표

• 기존 시계열 예측 모델이 계획된 프로모션과 같은 알려진 미래 정보를 忽略하는 한계를 해결하기 위해.
• 기존 역사 데이터와 미래 지식을 모두 활용하여 전자상거래 판매 예측 정확도를 향상시키는 예측 모델을 개발하기 위해.
• 알려진 미래 지식의 일관성을 사용하여 시간적 정보 흐름을 안내하는 자기주의 주의 메커니즘을 설계하여, 마스크된 미래 토큰에서 유래하는 노이즈의 영향을 최소화하기 위해.
• Tmall의 대규모 산업 데이터셋과 공개 기준 데이터셋에서 모델의 효과성을 검증하여 실제 적용 가능성과 확장성을 입증하기 위해.

제안 방법

• 기존 모델의 엄격한 인과성 제약을 깨뜨리기 위해 알려진 미래 지식을 인코더 입력에 통합한 이중성 주의 기반 모델인 Aliformer를 도입한다.
• 알려진 미래 지식을 사용하여 주의 계산을 안내하는 지식 유도 자기주의 주의 레이어를 설계하여, 마스크된 미래 토큰에서 유래하는 노이즈의 영향을 최소화한다.
• 미지의 미래 값 표현을 위한 학습 가능한 마스크된 토큰 임베딩을 도입하며, 지식 임베딩과 함께 공동 최적화하여 시퀀스의 일관성을 유지한다.
• 학습 과정에서 미래 지식 활용에 대한 집중도를 높이는 향후 정보 강조 학습 전략을 적용하여, 미래 의존 패턴에 대한 일반화 능력을 향상시킨다.
• 희소(제품 및 플랫폼 기능)와 밀도(통계 및 성능 지표) 기능을 조합한 다중 모odal 입력 표현을 사용하여 입력 컨텍스트를 풍부하게 한다.
• 표준 자기주의 주의와 지식 유도 브랜치로 구성된 이중 브랜치 주의 메커니즘을 구현하며, 알려진 미래 일관성을 사용하여 주의 맵을 정밀 조정한다.

실험 결과

연구 질문

• RQ1 예정된 프로모션과 같은 알려진 미래 정보를 통합하면 전자상거래 시계열 판매 예측 정확도가 향상되는가?
• RQ2 시퀀스 모델링의 기본 원칙을 위반하지 않으면서 Transformer 기반 모델이 미래 지식을 효과적으로 활용할 수 있는가?
• RQ3 마스크된 미래 토큰에서 발생하는 노이즈를 최소화하면서 알려진 미래 지식을 사용해 주의 메커니즘을 안내하기 위해 필요한 아키텍처 수정은 무엇인가?
• RQ4 향후 정보 강조 학습 전략이 장기 예측에서 미래 지식 활용 능력을 향상시키는가?
• RQ5 Aliformer는 프로모션 기간 동안 갑작스러운 판매 급증을 다루는 데 최신 기술(SOTA) 모델보다 뛰어난가?

주요 결과

• Aliformer는 네 개의 공개 기준 데이터셋과 Tmall의 대규모 산업 데이터셋에서 최신 기술(SOTA) 성능을 달성하며, 기존 방법에 비해 예측 정확도에서 뚜렷한 향상을 보였다.
• Tmall Sales(TMS) 데이터셋에서 Aliformer는 최고의 베이스라인 대비 평균 절대 퍼센티지 오차(sMAPE)를 최대 15%까지 감소시켜 실제 판매 패턴에 대한 뛰어난 일반화 능력을 입증했다.
• 기존 모델이 역사적 데이터에만 의존하기 때문에 실패하는 바이러스성 판매 급증(예: 가격 인하 또는 라이브 스트림 캠페인)을 효과적으로 포착했다.
• 지식 유도 자기주의 주의 메커니즘이 마스크된 미래 토큰에서 발생하는 주의 맵 노이즈를 감소시켜 모델의 강건성과 예측 정밀도를 향상시켰다.
• 향후 정보 강조 학습 전략은 특히 자기회귀 모델에서 오차 누적이 흔한 장기 예측에서 미래 지식 활용 능력을 향상시켰다.
• Aliformer는 Tmall의 산업용 테이블워크(Industry Tablework)에 성공적으로 도입되어 산업 적용 가능성과 확장성의 실증을 확보했다.