[논문 리뷰] A flexible forecasting model for production systems

Reza Hosseini, Kaixu Yang외 2명|arXiv (Cornell University)|2021. 05. 03.

Advanced Statistical Process Monitoring참고 문헌 14인용 수 5

한 줄 요약

이 논문은 조건부 평균과 변동성 모델링을 분리함으로써 유연성, 해석 가능성, 확장성과 함께 생산 환경에서의 정확성, 강건성, 속도를 동시에 확보한 Silverkite라는 예측 프레임워크를 소개한다. 이 프레임워크는 다중 척도 계절성, 이벤트/공휴일, 변화점 탐지, 정규화된 회귀를 통한 사용자 정의 목표 기능을 지원하여 실제 응용에서 높은 정확도, 강건성, 빠른 처리 속도를 달성한다.

ABSTRACT

This paper discusses desirable properties of forecasting models in production systems. It then develops a family of models which are designed to satisfy these properties: highly customizable to capture complex patterns; accommodates a large variety of objectives; has interpretable components; produces robust results; has automatic changepoint detection for trend and seasonality; and runs fast -- making it a good choice for reliable and scalable production systems. The model allows for seasonality at various time scales, events/holidays, and change points in trend and seasonality. The volatility is fitted separately to maintain flexibility and speed and is allowed to be a function of specified features.

연구 동기 및 목표

• 생산 환경에서의 유연성, 해석 가능성, 강건성, 속도를 균형 있게 확보하는 통합된 예측 프레임워크의 부재를 해결하기 위해.
• 다중 척도 계절성, 추세 변화, 이벤트 유도 편차와 같은 복잡한 시계열 패턴의 정확한 예측을 가능하게 하기 위해.
• 손실 함수와 모델링 구성 요소를 사용자 정의할 수 있도록 지원하여 다양한 비즈니스 목표—예: 평균 값 또는 최고점 예측—을 달성하기 위해.
• 변화 지점의 위치에 대한 사전 지식 없이도 추세 및 계절성 패턴의 변화를 자동으로 탐지할 수 있도록 하기 위해.
• 통합 모델에서 흔히 발생하는 수렴 및 발산 문제를 방지하기 위해 평균과 변동성 모델링을 분리함으로써 모델 안정성과 계산 효율성을 확보하기 위해.

제안 방법

• 프레임워크는 예측을 두 단계로 나눈다: (1) 타임스탬프, 이벤트, 역사적 데이터에서 유도된 기저 함수를 사용한 조건부 평균 모델링; (2) 잔차에 대한 별도의 변동성 모델링으로 유연성과 속도를 유지한다.
• 모델 계수의 희박성, 해석 가능성, 안정성을 확보하기 위해 L1(Lasso) 및 L2(Ridge) 페널티를 조합한 이중 정규화 접근 방식을 사용한다.
• 새로운 정규화 기반 알고리즘을 통해 시간에 따라 변화하는 추세 및 계절성 패턴의 변화를 탐지한다.
• 복잡한 시간 패턴(예: 요일 효과, 공휴일 편차 등)을 가산적이고 해석 가능한 형태로 표현하기 위해 기저 함수 변환을 사용한다.
• 외부 특성(예: 요일)을 기반으로 변동성을 모델링하고 별도로 피팅함으로써, 민감하고 신속하며 강건한 불확실성 정량화를 가능하게 한다.
• 혼합 정규화 문제의 해는 사영 행렬과 반복 최적화를 통해 유도되며, 변환 후 표준 Lasso 솔버를 활용해 효율적인 계산을 가능하게 한다.

실험 결과

연구 질문

• RQ1 어떻게 하면 생산 환경에서 높은 유연성과 해석 가능성을 동시에 확보하면서도 강건성과 속도를 유지할 수 있는 예측 모델을 설계할 수 있는가?
• RQ2 통합된 프레임워크가 모델 안정성에 손상이 가지 않고도 다중 척도 계절성, 비정규 이벤트, 추세 및 계절성의 변화점을 효과적으로 처리할 수 있는가?
• RQ3 통합 모델에 비해 평균과 변동성 모델링을 분리함으로써 계산 효율성과 수렴 성능이 얼마나 향상되는가?
• RQ4 제안된 정규화 기반의 변화점 탐지 알고리즘이 기존 방법에 비해 추세 및 계절성의 변화를 얼마나 잘 식별하는가?
• RQ5 다양한 목표—예: 평균 예측, 최고점 탐지—를 수반하는 실제 시계열 예측 작업에서 이 프레임워크의 성능은 어떠한가?

주요 결과

• Silverkite 프레임워크는 평균과 변동성 모델링을 성공적으로 분리하여, 발산 경향이 있는 통합 모델에 비해 더 빠른 훈련 속도와 더 안정적인 예측을 달성한다.
• 정규화 기반의 변화점 탐지 알고리즘은 추세 및 계절성의 변화를 효과적으로 탐지하며, 복잡한 구조적 변화가 있는 실제 데이터에서 뛰어난 성능을 보였다.
• 기저 함수의 사용은 추세, 계절성, 이벤트 효과 등의 구성 요소로 예측를 해석 가능한 형태로 분해함으로써 모델의 투명성과 검증 가능성을 향상시켰다.
• 사용자 정의된 손실 함수를 갖춘 분위수 회귀 및 정규화된 회귀를 지원함으로써, 평균 값 또는 최고점 예측과 같은 다양한 목표에서 높은 정확도를 달성했다.
• 실증 평가 결과, 비선형 패턴과 구조적 변화가 있는 시나리오에서 Silverkite는 널리 사용되는 오픈소스 라이브러리들을 능가하는 정확도와 강건성을 보였다.
• 프레임워크는 대규모 예측 작업에 대해 효율적으로 확장 가능하며, 최소한의 지연 시간으로 수천 개의 시계열을 처리할 수 있어 엔터프라이즈 수준의 생산 환경에 적합하다.