[논문 리뷰] Multi-stream RNN for Merchant Transaction Prediction

Zhongfang Zhuang, Chin‐Chia Michael Yeh외 3명|arXiv (Cornell University)|2020. 07. 25.

Time Series Analysis and Forecasting참고 문헌 9인용 수 4

한 줄 요약

이 논문은 매일의 시계열 데이터를 별도의 RNN 스트림을 통해 처리한 후 병합 레이어와 주간 RNN을 통해 장기 예측을 위한 다중 스트림 RNN 모델을 제안한다. 이 모델은 실제 금융 기술(FinTech) 거래 데이터에서 최신 기술(SOTA)을 초월하여 다양한 상권 유형의 다변량, 다단계 거래 패턴 예측에서 뛰어난 정확도를 보였다.

ABSTRACT

Recently, digital payment systems have significantly changed people's lifestyles. New challenges have surfaced in monitoring and guaranteeing the integrity of payment processing systems. One important task is to predict the future transaction statistics of each merchant. These predictions can thus be used to steer other tasks, ranging from fraud detection to recommendation. This problem is challenging as we need to predict not only multivariate time series but also multi-steps into the future. In this work, we propose a multi-stream RNN model for multi-step merchant transaction predictions tailored to these requirements. The proposed multi-stream RNN summarizes transaction data in different granularity and makes predictions for multiple steps in the future. Our extensive experimental results have demonstrated that the proposed model is capable of outperforming existing state-of-the-art methods.

연구 동기 및 목표

• 실시간 결제 시스템에서 상인의 다변량, 다단계 거래 패턴을 예측하는 과제를 해결하기 위해.
• 여러 시간 단위에 걸쳐 거래 특성(예: 거래 건수, 금액, 평균 금액 등) 간의 상관관계를 모델링하기 위해.
• 다중 스트림 아키텍처를 통해 매일 및 매주 반복되는 시간 패턴을 포착하여 장기 예측 정확도를 향상시키기 위해.
• 결제 생태계에서의 거래 모니터링 및 이면 탐지에 유연하고 확장 가능한 딥 러닝 프레임워크를 제공하기 위해.
• 다양한 상권 유형에서의 집계된 실제 거래 데이터를 바탕으로 모델의 효과성을 검증하기 위해.

제안 방법

• 모델은 매일의 시간대별 거래 데이터를 처리하기 위해 일주일 각 요일에 대해 별도의 RNN(LSTM 또는 GRU)을 사용하여 일일 패턴을 포착한다.
• 각 일별 RNN의 시간대별 출력을 동일한 시간대에 걸쳐 일주일 내에서 통합하여 통합된 시간 표현을 형성한다.
• 주간 RNN은 24개의 병합된 시간 단위(시간당 하나)를 처리하여 고수준의 주간 패턴과 의존성을 학습한다.
• 완전 연결 레이어를 통해 향후 24시간 동안 각 시간대의 예측을 생성하며, 다변량 특성 각각에 대해 별도의 헤드를 사용한다.
• 특히 깊은 아키텍처에서의 학습 안정성과 수렴성을 향상시키기 위해 스택형 축소 RNN의 변종을 도입한다.
• 각 RNN 이후에 드롭아웃(0.2 비율)을 적용하여 과적합을 방지한다.

실험 결과

연구 질문

• RQ1 다중 스트림 RNN 아키텍처는 다양한 상권 유형에 걸쳐 다변량, 다단계 거래 예측을 효과적으로 모델링할 수 있는가?
• RQ2 각 일별 패턴을 별도의 RNN 스트림으로 처리하는 방식은 단일 스트림 RNN에 비해 장기 예측 성능을 어떻게 향상시키는가?
• RQ3 스hrink 스택형 RNN의 포함이 모델 성능 향상과 수렴성 향상에 어느 정도 기여하는가?
• RQ4 레스토랑, 의료 서비스, 소매 등 다양한 상권 유형에 대해 모델의 일반화 능력은 얼마나 뛰어나며?
• RQ5 기존의 RNN 기반 기준 모델에 비해 다중 미래 시간 단위에 걸친 시간 의존성을 얼마나 잘 유지하는가?

주요 결과

• 비정규화된 RMSE 기준으로 24개 실험 설정 중 19개에서 다중 스트림 RNN에 스택형 축소 RNN을 적용한 모델이 모든 기준 모델을 압도했다.
• 스택형 축소 RNN를 사용한 경우, 24개 설정 중 17개에서 정규화된 RMSE가 더 낮게 나타나 일반화 능력 향상이 확인되었다.
• 레스토랑 상인의 경우, 예측값과 진짜 값의 밀도 그래프가 23번째 미래 시간대에서 겹치며 밀도 분포가 유사하게 나타났다.
• 시각적 분석 결과, MS-RNN은 장기 예측(예: 시간대 23)에서 기존의 SOTA RNN보다 더 정확한 패턴을 예측하는 것으로 나타났다.
• 모델의 깊이를 증가시킬수록 형태 모델링 능력(정규화된 RMSE 기준)은 향상되었지만, LSTM의 경우 약간의 성능 저하가 있었고, GRU의 경우는 뚜렷한 성능 저하가 발생하여 아키텍처 설계 시 상호 보완적 고려가 필요함을 시사했다.
• 레스토랑, 의료 서비스, 소매 등 다양한 상권 유형에서 일관된 성능 향상을 보이며 모델의 강건한 성능을 입증했다.