[논문 리뷰] Aggregating strategies for long-term forecasting.

Alexander Korotin, Vladimir V. V’yugin외 1명|arXiv (Cornell University)|2018. 06. 07.

Forecasting Techniques and Applications인용 수 4

한 줄 요약

이 논문은 지수 재가중 기반의 장기 예측을 위한 일반화된 집계 알고리즘을 제안하며, Vovk의 알고리즘을 두 가지 방식으로 수정한다: 하나는 독립된 전문가의 복제를 통해 시간에 종속되지 않는 손실 한계를 확보하는 것으로, 다른 하나는 실용성이 더 높은 O(√T) 손실 한계를 갖는다. 주요 기여는 장기 예측에 대해 이론적으로 최적이고 시간에 영향을 받지 않는 손실 한계를 확보하는 것이다.

ABSTRACT

The article is devoted to investigating the application of aggregating algorithms to the problem of the long-term forecasting. We examine the classic aggregating algorithms based on the exponential reweighing. For the general Vovk's aggregating algorithm we provide its generalization for the long-term forecasting. For the special basic case of Vovk's algorithm we provide its two modifications for the long-term forecasting. The first one is theoretically close to an optimal algorithm and is based on replication of independent copies. It provides the time-independent regret bound with respect to the best expert in the pool. The second one is not optimal but is more practical and has $O(\sqrt{T})$ regret bound, where $T$ is the length of the game.

연구 동기 및 목표

• 순차적 예측 환경에서 장기 예측의 과제를 해결하기 위해.
• 지수 재가중 기반의 고전적 집계 알고리즘을 장기 예측 시나리오로 확장하기 위해.
• 장기적인 시간 간격 동안 유한한 손실 한계를 갖는 이론적으로 최적이고 실용적인 전략을 개발하기 위해.
• 풀 내의 최고 전문가에 대해 시간에 종속되지 않는 손실 한계를 제공하기 위해.

제안 방법

• 지수 재가중을 사용한 장기 예측을 위한 Vovk의 집계 알고리즘을 일반화한다.
• 시간에 종속되지 않는 손실 한계를 확보하기 위해 독립된 전문가 복제 기반의 첫 번째 수정을 도입한다.
• 더 실용적인 두 번째 수정을 개발하며, 이는 O(√T) 손실 한계를 갖는다.
• 전문가 풀에 프레임워크를 적용하여 지수 재가중을 통해 가중치를 동적으로 조정한다.
• 후행적으로 최고 전문가와의 성능을 비교하기 위해 손실 분석을 수행한다.
• 최고 전문가에 대한 누적 손실에 대한 이론적 한계를 확립한다.

실험 결과

연구 질문

• RQ1 Vovk의 집계 알고리즘은 장기 예측 수평선 동안 안정적인 성능을 달성하기 위해 일반화될 수 있는가?
• RQ2 장기 예측에서 집계 전략이 달성할 수 있는 이론적 손실 한계는 무엇인가?
• RQ3 장기 예측에서 시간에 종속되지 않는 손실 한계는 어떻게 달성할 수 있는가?
• RQ4 장기 예측 알고리즘에서 이론적 최적성과 실용성의 타당성 사이의 상충 관계는 무엇인가?
• RQ5 O(√T)의 비선형 손실 한계를 갖는 실용적인 알고리즘을 장기 예측을 위해 설계할 수 있는가?

주요 결과

• 제안된 알고리즘은 시간에 종속되지 않는 손실 한계를 확보하여, 예측 수평선에 관계없이 안정적인 성능을 보장한다.
• 첫 번째 수정은 독립된 전문가 복제 기반으로 이론적으로 최적이며, 풀 내의 최고 전문가의 성능을 정확히 따라간다.
• 두 번째 수정은 O(√T) 손실 한계를 확보하며, 실생활 적용에 있어 비선형적이고 실용적이다.
• 이론적 분석은 손실 값이 시간 T에 대해 선형보다 느리게 증가함을 확인한다.
• 프레임워크는 Vovk의 알고리즘을 증명 가능하고 성능 보장이 있는 장기 예측으로 일반화하는 데 성공했다.
• 결과는 이론적 최적성과 실용성의 타당성이 첨단 알고리즘 수정을 통해 동시에 달성될 수 있음을 보여준다.