[논문 리뷰] Online Forecasting of Total-Variation-bounded Sequences

Dheeraj Baby, Yu-Xiang Wang|arXiv (Cornell University)|2019. 01. 01.

Stochastic processes and financial applications인용 수 8

한 줄 요약

이 논문은 총변동량이 유계인 수열에 대한 온라인 예측을 위한 최초의 다항시간 알고리즘을 제안하며, 변동량 $C_n$이 알려져 있지 않은 상황에서 높은 확률로 누적 제곱오차 $ ilde{O}(n^{1/3}C_n^{2/3} au^{4/3} + C_n^2)$를 달성한다. 이 알고리즘은 하르 웨이브렛 구조와 알려지지 않은 매끄러움도에 대한 적응성을 활용하여, 로그 인자 수준까지 날카로운 하한선을 충족시킨다.

ABSTRACT

We consider the problem of online forecasting of sequences of length $n$ with total-variation at most $C_n$ using observations contaminated by independent $\sigma$-subgaussian noise. We design an $O(n\log n)$-time algorithm that achieves a cumulative square error of $ ilde{O}(n^{1/3}C_n^{2/3}\sigma^{4/3} + C_n^2)$ with high probability. We also prove a lower bound that matches the upper bound in all parameters (up to a $\log(n)$ factor). To the best of our knowledge, this is the first **polynomial-time** algorithm that achieves the optimal $O(n^{1/3})$ rate in forecasting total variation bounded sequences and the first algorithm that **adapts to unknown** $C_n$.Our proof techniques leverage the special localized structure of Haar wavelet basis and the adaptivity to unknown smoothness parameters in the classical wavelet smoothing [Donoho et al., 1998]. We also compare our model to the rich literature of dynamic regret minimization and nonstationary stochastic optimization, where our problem can be treated as a special case. We show that the workhorse in those settings --- online gradient descent and its variants with a fixed restarting schedule --- are instances of a class of **linear forecasters** that require a suboptimal regret of $ ilde{\Omega}(\sqrt{n})$. This implies that the use of more adaptive algorithms is necessary to obtain the optimal rate.

연구 동기 및 목표

• 총변동량이 유계인 수열에 대한 계산적으로 효율적인 온라인 예측 알고리즘을 설계하기.
• 총변동량 유계 $C_n$이 알려져 있지 않은 상황에서 서브가우시안 노이즈가 존재할 때 최적의 예측 오차 비율을 달성하기.
• 이 설정에서 최적의 이론적 비율과 실용적인 다항시간 알고리즘 사이의 격차를 메우기.
• 표준 온라인 경사 하강법이 선형 예측 구조를 지닌다는 점에서 이 문제에 대해 비최적임을 입증하기.

제안 방법

• 알고리즘은 하르 웨이브렛 기저의 국소화된 구조를 활용하여 총변동량이 유계인 수열을 효율적으로 표현하고 추정한다.
• 추정 오차와 노이즈 민감도를 균형 있게 유지하기 위해 하르 웨이브렛 도메인에서 적응형 임계값 처리를 적용한다.
• 노이즈 수준 $\sigma$와 시퀀스 길이 $n$에 기반한 데이터 기반 정규화 파rameter 선택을 통합하여 알려지지 않은 $C_n$에 적응한다.
• 유계 변동 신호의 하르 변환에서의 희박성을 활용하여 $O(n\log n)$ 실행 시간을 달성한다.
• 집중 부등식과 웨이브렛 전용 성질을 조합하여 누적 제곱오차를 근사한다.
• 알고리즘의 설계는 선형 예측자인 온라인 경사 하강법과 대비되며, 후자의 경우 하한선보다 열등한 $ ilde{\Omega}(\sqrt{n})$의 회귀 손실을 초래함을 입증한다.

실험 결과

연구 질문

• RQ1 계산적으로 효율적이며 다항시간인 알고리즘이 알려지지 않은 $C_n$을 가진 총변동량이 유계인 수열에 대해 최적의 $n^{1/3}$ 속도를 달성할 수 있는가?
• RQ2 서브가우시안 노이즈 하에서 총변동량 제약 조건이 있는 온라인 예측의 성능에 대한 본질적 한계는 무엇인가?
• RQ3 왜 표준 선형 예측자인 온라인 경사 하강법은 이 설정에서 최적의 속도를 달성하지 못하는가?
• RQ4 웨이브렛 기반 방법은 어떻게 계산 효율성과 통계적 최적성을 동시에 달성할 수 있는가?
• RQ5 이러한 맥락에서 알려지지 않은 매끄러움 파라미터에 대한 적응성은 예측 성능 향상에 얼마나 기여하는가?

주요 결과

• 제안된 알고리즘은 높은 확률로 누적 제곱오차 $ olimits\tilde{O}(n^{1/3}C_n^{2/3}\sigma^{4/3} + C_n^2)$를 달성하며, 정보 이론적 하한선과 로그 인자 수준까지 일치한다.
• 알고리즘은 $O(n\log n)$ 시간 내에 실행되며, 이는 이 문제에 대해 최적의 $n^{1/3}$ 속도를 달성하는 최초의 다항시간 방법이다.
• 알려지지 않은 $C_n$에 대해 사전 지식 없이도 적응 가능하며, 이는 이전 방법들이 $C_n$을 입력으로 요구하는 데 비해 핵심적인 장점이다.
• 분석 결과, 온라인 경사 하강법과 유사한 선형 예측자는 하한선보다 열등한 $ olimits\tilde{\Omega}(\sqrt{n})$의 회귀 손실을 겪으며, 이는 최적의 속도를 달성할 수 없음을 입증한다.
• 하르 웨이브렛의 사용은 국소화된 신호 구조를 활용함으로써 계산 효율성과 통계적 최적성을 동시에 달성한다.
• 이 작업는 웨이브렛 스무딩 기법과 최적의 온라인 예측 간의 밀접한 연결을 확립하며, 고전 결과를 온라인 설정으로 확장한다.