[논문 리뷰] Taming the Long Tail of Deep Probabilistic Forecasting

Jedrzej Kozerawski, Mayank Sharan외 1명|arXiv (Cornell University)|2022. 02. 27.

Forecasting Techniques and Applications인용 수 6

한 줄 요약

이 논문은 예측 오차의 장꼬리 분포를 명시적으로 타겟으로 삼아 딥 확률 예측 성능을 햖थ하는 두 가지 모멘트 기반 손실 함수인 Pareto Loss와 Kurtosis Loss를 제안한다. 일반화된 파레토 분포 피팅과 네 번째 모멘트 정규화를 통해 희귀하고 높은 오차가 발생하는 시나리오에 초점을 맞추어, 평균 성능을 저하시키지 않은 채 궤도 및 시계열 예측에서 꼬리 오차를 크게 감소시킨다.

ABSTRACT

Deep probabilistic forecasting is gaining attention in numerous applications ranging from weather prognosis, through electricity consumption estimation, to autonomous vehicle trajectory prediction. However, existing approaches focus on improvements on the most common scenarios without addressing the performance on rare and difficult cases. In this work, we identify a long tail behavior in the performance of state-of-the-art deep learning methods on probabilistic forecasting. We present two moment-based tailedness measurement concepts to improve performance on the difficult tail examples: Pareto Loss and Kurtosis Loss. Kurtosis loss is a symmetric measurement as the fourth moment about the mean of the loss distribution. Pareto loss is asymmetric measuring right tailedness, modeling the loss using a generalized Pareto distribution (GPD). We demonstrate the performance of our approach on several real-world datasets including time series and spatiotemporal trajectories, achieving significant improvements on the tail examples.

연구 동기 및 목표

• 딥 확률 예측에서 모델이 희귀하지만 중요한 예측 사례에서 실패하는 장꼬리 행동을 식별하고 이를 해결하기 위해.
• 평균 성능을 훼손시키지 않으면서 어려운 꼬리 케이스 성능을 향상시키기 위해.
• 장꼬리 오차 분포에 대해 원칙적이고 해석 가능하며 효과적인 모멘트 기반 손실 함수를 개발하기 위해.
• 다양한 실세계 데이터셋(시계열 및 시공간 궤적 포함)에서 이러한 손실 함수의 효과성을 입증하기 위해.
• 장꼬리 문제를 탐지하기 위해 평균 지표 외에도 꼬리 지표(예: VaR95, VaR99)를 평가하도록 주장하기 위해.

제안 방법

• Pareto Loss는 손실 분포의 꼬리를 일반화된 파레토 분포(GPD)로 모델링하여 고오차 샘플에 대한 비대칭 가중치를 부여한다.
• 이 방법은 임계값을 초과할 경우 포화되는 마진을 가진 이동된 모멘트의 가중합으로 손실를 정의하여 극단적 케이스에서의 훈련 안정성을 높인다.
• Kurtosis Loss는 손실 분포의 네 번째 중심 모멘트를 활용하여 균형 잡힌 방식으로 무거운 꼬리 행동을 측정하고 처벌한다.
• 두 손실 함수 모두 미분 가능하며 기존의 딥 확률 예측 프레임워크에 정규화 또는 손실 가중치로 통합할 수 있다.
• 꼬리 샘플을 훈련 중에 고려 대상으로 삼아 손실 함수에 대한 기여도를 증가시킴으로써 우선순위를 높인다.
• 초기화 파rameter는 꼬리 강조와 일반화 간 균형을 맞추기 위해 튜닝되었으며, 추론 분석을 통해 Kurtosis 손실은 민감성이 있지만 Pareto 손실은 안정성을 보였다.

Figure 1: Log-log plot of error distribution for trajectory prediction on the ETH-UCY dataset using SoTA(Traj++EWTA). Also shown is a tail scenario with predictions using Traj++EWTA [purple] and Traj++EWTA+Pareto Margin Loss (ours) [teal].

실험 결과

연구 질문

• RQ1 최신 딥 확률 예측 모델에서 다양한 실세계 데이터셋에서 장꼬리 오차 행동는 어떻게 나타나는가?
• RQ2 Kurtosis 및 Pareto 손실과 같은 모멘트 기반 손실 함수가 희귀하고 고오차가 발생하는 예측 케이스에서 성능 향상에 효과적으로 기여할 수 있는가?
• RQ3 Pareto Loss와 Kurtosis Loss는 극단적 오차(VaR99 등)와 중간 꼬리 오차(VaR95 등)를 줄이는 데 어떤 정도의 능력을 가지는가?
• RQ4 이 손실 함수들이 장기 예측 성능에 얼마나 기여하는가, 특히 예측 수평이 증가할수록 어떻게 영향을 미치는가?
• RQ5 이러한 방법들은 평균 성능을 저하시키지 않으면서 자율주행 차량 궤적 예측과 같은 안전 중심 응용 분야에서 모델 신뢰성을 향상시킬 수 있는가?

주요 결과

• Pareto Loss(PLM)는 테스트한 네 가지 데이터셋 전반에서 모든 지표에서 가장 일관된 개선을 이룩했으며, 기준 모델 대비 꼬리 및 평균 성능 모두에서 승리했다.
• Kurtosis Loss는 최악의 오차를 크게 줄였으며, VaR99 및 Max 지표에서 최고 성능을 기록하여 극단적 꼬리 사건에 미치는 영향력이 높음을 시사한다.
• ETH-UCY Zara1 데이터셋에서 두 방법 모두 상위 5퍼센트의 오차가 가장 큰 예측에서 FDE(Final Displacement Error)를 감소시켰으며, 장기 수평에서 개선 효과가 가장 두드러졌다.
• 장기 수평 예측의 오차 분포는 꼬리가 악화되는 경향을 보였으며, 이는 꼬리 오차가 시간이 지남에 따라 누적되며 안정적인 장기 예측을 위해 반드시 다뤄져야 함을 확인한다.
• Pareto Loss는 꼬리 분포 전반에서 더 안정적이고 확장 가능한 개선 효과를 제공하지만, Kurtosis Loss는 극단적 외곽치에 더 민감하여 최악의 경우에 대한 강건성에 더 적합하다.
• 결과적으로 꼬리 인식 손실을 통합하면 자율주행 및 전력망 이상 탐지와 같은 안전 중심 예측 작업에서 신뢰성 향상에 측정 가능한 기여를 한다.

Figure 2: Log-log plots of distribution of ground truth labels for the time series [Electricity: Top left, Traffic: Top right] and trajectory [ETH-UCY: Bottom left, nuScenes: Bottom right] forecasting datasets. The value for time series datasets represents energy and occupancy and for the trajectory