[논문 리뷰] Long-term series forecasting with Query Selector -- efficient model of sparse attention

Jacek Klimek, Jakub Klímek외 2명|arXiv (Cornell University)|2021. 07. 19.

Time Series Analysis and Forecasting참고 문헌 27인용 수 4

한 줄 요약

이 논문은 효율적인 장기 시계열 예측을 위한 결정론적 희소 어텐션 메커니즘인 QuerySelector을 제안한다. 학습 가능한 선택기(Selector)를 통해 핵심 역사를 선택함으로써 계산 복잡도를 감소시키면서도 높은 정확도를 유지하며, 비즈니스 프로세스 이벤트 로그에서 LSTM 기반 모델을 능가한다. Helpdesk 및 BPI Challenge 2012 데이터셋에서 각각 74.3%와 79.0%의 정확도를 기록하였다.

ABSTRACT

Various modifications of TRANSFORMER were recently used to solve time-series forecasting problem. We propose Query Selector - an efficient, deterministic algorithm for sparse attention matrix. Experiments show it achieves state-of-the art results on ETT, Helpdesk and BPI'12 datasets.

연구 동기 및 목표

• 장기 시퀀스 시계열 예측에서 표준 자기어텐션의 계산 비효율 문제를 해결한다.
• 랜덤 샘플링에 의존하지 않고, 결정론적이고 희소한 어텐션 메커니즘을 개발하여 FLOPs를 감소시킨다.
• 구조적으로 의미 있는 이전 시점의 단계에 집중함으로써 장기 시퀀스의 예측 정확도를 향상시킨다.
• 실제 비즈니스 프로세스 이벤트 로그 데이터셋에서 기존 딥러닝 모델, 특히 LSTMs를 능가하는 성능을 달성한다.
• 산업 규모의 시계열 예측에 적합한 확장 가능하고 효율적인 어텐션 기반 모델링을 가능하게 한다.

제안 방법

• 입력 시퀀스에서 가장 관련성이 높은 이전 시점의 단계만 선택하고 어텐션을 집중시키는 학습 가능한 쿼리 선택기(Selector)를 도입한다.
• 전체 자기어텐션을 대체하여, 쿼리마다 메모리로 사용되는 희소 어텐션 행렬을 구성하며, 이는 선택된 핵심 단계들만 포함한다.
• 입력 컨텍스트에 기반해 어떤 과거 토큰을 어텐션할지 동적으로 선택할 수 있는 미분 가능한 선택기 네트워크를 사용한다.
• 고정된 수의 선택된 단계에 한정해 어텐션을 제한함으로써 계산 복잡도를 크게 감소시키면서도 전체 시퀀스 모델링 능력을 유지한다.
• 이벤트 유형 예측을 위한 교차 엔트로피 손실을 사용하는 표준 시퀀스-투-시퀀스 목표 함수를 통해 모델을 종합적으로 훈련한다.
• 이 방법을 이벤트 로그 예측 작업에 적용하며, 그 목표는 비즈니스 프로세스 트레이스에서 다음 활동 유형을 예측하는 것이다.

실험 결과

연구 질문

• RQ1 결정론적이고 학습 가능한 희소 어텐션 메커니즘이 장기 시계열 예측에서 표준 전체 어텐션 및 순환 모델을 능가할 수 있는가?
• RQ2 QuerySelector 메커니즘이 장기 시퀀스에서 예측 정확도를 유지하면서 계산 효율성을 어떻게 향상시키는가?
• RQ3 구조적으로 선택된 이전 단계에 기반한 희소 어텐션은 실생활 비즈니스 프로세스 로그의 예측 성능을 어느 정도 향상시킬 수 있는가?
• RQ4 QuerySelector는 이벤트 로그 예측 벤치마크에서 LSTM 기반 모델에 비해 최첨단 성능을 달성하는가?
• RQ5 이 방법은 특히 저빈도, 희소성 및 구조적 특성을 띠는 이벤트 로그에서 다양한 시계열 유형에 대해 얼마나 강인한가?

주요 결과

• QuerySelector는 Helpdesk 데이터셋에서 74.3%의 정확도를 기록하여 [Tax et al., 2017]에서 보고된 최고의 LSTM 결과를 초월했다.
• BPI Challenge 2012 데이터셋에서 QuerySelector는 79.0%의 정확도를 달성했으며, 최고의 LSTM 성능인 76.00%를 뛰어넘었다.
• 선택된 역사적 단계의 소수의 학습된 부분집합에 한정해 어텐션을 제한함으로써 계산 비용을 크게 감소시켰다.
• 랜덤 희소 어텐션 방법에서 발생하는 변동성과 불안정성과는 달리, 결정론적 선택 메커니즘이 이를 방지한다.
• 복잡하고 비주기적인 패턴을 띠는 로그를 포함한 다양한 유형의 비즈니스 프로세스 로그에 대해 잘 일반화된다.
• 실험 결과, 구조적으로 의미 있는 이전 단계에 집중함으로써 장기 예측 성능이 향상됨을 확인할 수 있었다.