[논문 리뷰] Online Learning with Continuous Ranked Probability Score

Vladimir V. V’yugin, В. Г. Трунов|arXiv (Cornell University)|2019. 02. 26.

Advanced Bandit Algorithms Research인용 수 4

한 줄 요약

이 논문은 확률 예측을 위한 온라인 학습에서 연속 순위 확률 점수(CRPS)를 혼합 가능한 손실 함수로 사용함으로써, 전문가 예측을 조합하는 데 Vovk의 집계 알고리즘을 적용할 수 있도록 제안한다. 시간에 종속되지 않은 리그레트 상한을 수립하고, 수치 실험을 통해 방법의 타당성을 검증한다.

ABSTRACT

Probabilistic forecasts in the form of probability distributions over future events have become popular in several fields of statistical science. The dissimilarity between a probability forecast and an outcome is measured by a loss function (scoring rule). Popular example of scoring rule for continuous outcomes is the continuous ranked probability score (CRPS). We consider the case where several competing methods produce online predictions in the form of probability distribution functions. In this paper, the problem of combining probabilistic forecasts is considered in the prediction with expert advice framework. We show that CRPS is a mixable loss function and then the time independent upper bound for the regret of the Vovk's aggregating algorithm using CRPS as a loss function can be obtained. We present the results of numerical experiments illustrating the proposed methods.

연구 동기 및 목표

• 다양한 전문가의 확률 예측을 온라인 학습 환경에서 통합하는 데 도전하는 데 초점한다.
• 순차적 예측과 전문가 조언을 위한 시퀀셜 학습에 적합한 혼합 가능한 손실 함수로 CRPS를 확립하는 데 목적이 있다.
• CRPS를 스코링 규칙으로 사용할 때 Vovk의 집계 알고리즘에 대한 시간에 종속되지 않은 리그레트 상한을 유도하는 데 목적이 있다.
• 확률 예측 과제에서의 수치 실험을 통해 제안된 방법의 성능을 경험적으로 평가하는 데 목적이 있다.

제안 방법

• CRPS를 손실 함수로 사용하여 온라인 학습에서 확률 예측에 Vovk의 집계 알고리즘을 적응시킨다.
• CRPS가 혼합 가능한 손실 함수임을 입증하여 전문가 조언 프레임워크 내에서 이론적 리그레트 상한을 가능하게 한다.
• CRPS의 혼합 가능성 성질을 활용하여 누적 리그레트에 대한 시간에 종속되지 않은 상한을 도출한다.
• 비베이지안 방식으로 순차적으로 다수의 전문가로부터의 예측 분포를 조합하는 데 알고리즘을 적용한다.
• 연속적인 설정에서 예측 분포와 관측된 결과 간의 차이를 측정하기 위해 CRPS를 사용한다.
• 수치 실험을 통해 이론적 결과를 검증하고, 합성 또는 실제 데이터에서의 실용적 성능을 평가한다.

실험 결과

연구 질문

• RQ1 온라인 학습과 전문가 조언의 맥락에서 연속 순위 확률 점수(CRPS)는 혼합 가능한 손실 함수인가?
• RQ2 CRPS를 손실 함수로 사용할 때 Vovk의 집계 알고리즘에 대해 시간에 종속되지 않은 리그레트 상한을 도출할 수 있는가?
• RQ3 제안된 방법의 성능은 온라인 확률 예측에서 기준 방법과 비교해 어떻게 되는가?
• RQ4 알고리즘의 경험적 행동은 다양한 데이터 시나리오에서 예측 정확도와 내구성 측면에서 어떻게 나타나는가?

주요 결과

• CRPS가 혼합 가능한 손실 함수로 입증되어 온라인 확률 예측에서 Vovk의 집계 알고리즘의 적용이 가능해졌다.
• CRPS를 손실 함수로 사용할 때 집계 알고리즘의 리그레트에 대한 시간에 종속되지 않은 상한이 도출되었다.
• 이론적 리그레트 상한은 시간 허브에 종속되지 않아 장기적인 안정적인 성능을 나타낸다.
• 수치 실험을 통해 제안된 방법의 실용적 타당성과 효과성이 확인되었다.
• CRPS 측정 기준으로 경쟁적인 성능를 달성하여 순차적 확률 예측 과제에서의 유용성을 입증하였다.
• 결과는 CRPS가 온라인 학습 프레임워크에서 확률 예측을 위한 원리적이고 이론적으로 탄탄한 손실 함수로 사용될 수 있음을 지지한다.