[논문 리뷰] Leveraging Predictions in Smoothed Online Convex Optimization via Gradient-based Algorithms

Yingying Li, Na Li|arXiv (Cornell University)|2020. 11. 25.

Advanced Bandit Algorithms Research인용 수 5

한 줄 요약

이 논문은 예측 오차의 영향을 최소화하면서 다단계 향후 예측을 활용하는 보정된 온라인 볼록 최적화(smoothed online convex optimization, SOCO)를 위한 기반으로 기반한 온라인 알고리즘인 Receding Horizon Inexact Gradient(RHIG)을 제안한다. RHIG는 장기 예측 오차의 영향을 줄이기 위해 W단계 향후 예측에만 의존하며, 이론적 분석을 통해 최적의 W는 환경의 변화와 예측 오차 사이의 균형을 이룹니다. 또한 먼 예측 오차의 影響은 지수적으로 감소함을 보여줍니다.

ABSTRACT

We consider online convex optimization with time-varying stage costs and additional switching costs. Since the switching costs introduce coupling across all stages, multi-step-ahead (long-term) predictions are incorporated to improve the online performance. However, longer-term predictions tend to suffer from lower quality. Thus, a critical question is: how to reduce the impact of long-term prediction errors on the online performance? To address this question, we introduce a gradient-based online algorithm, Receding Horizon Inexact Gradient (RHIG), and analyze its performance by dynamic regrets in terms of the temporal variation of the environment and the prediction errors. RHIG only considers at most $W$-step-ahead predictions to avoid being misled by worse predictions in the longer term. The optimal choice of $W$ suggested by our regret bounds depends on the tradeoff between the variation of the environment and the prediction accuracy. Additionally, we apply RHIG to a well-established stochastic prediction error model and provide expected regret and concentration bounds under correlated prediction errors. Lastly, we numerically test the performance of RHIG on quadrotor tracking problems.

연구 동기 및 목표

• 노이즈가 많은 장기 예측을 사용하는 보정된 온라인 볼록 최적화(SOCO)에서 성능 저하를 초래하는 예측 오차 문제를 다루기.
• 기존 모델이 짧은 예측은 정확하다고 가정하고 장기 비용은 적대적임을 전제로 하여 현실의 예측 품질 저하를 반영하지 못하는 한계를 극복하기.
• 각 단계에서 전체 다단계 최적화가 필요하지 않은, 계산 효율성이 높은 기울기 기반 알고리즘을 개발하여 다단계 향후 예측을 효과적으로 활용하기.
• 시간적 환경 변화와 예측 오차 양쪽 모두에 대해 리그레트 경계를 분석하여, 수렴 가능한 방법으로 수평 W를 선택하는 데 기여하기.
• 상관된 오차를 가진 스토케스틱 예측 오차 모델 하에서 성능 보장을 확립하며, 기대 리그레트와 고확률 농도 경계를 포함함.

제안 방법

• 장기 예측에 과도하게 의존하지 않기 위해 가장 최근 W단계의 미래 예측만 사용하는 리커링 하이어라치 기반 기울기 알고리즘인 RHIG를 제안.
• 시간적 환경 변화 $V_T$ 와 첫 W개의 예측 오차에 의존하는 동적 리그레트 경계를 유도하며, $k$단계 향후 오차의 영향은 지수적으로 감소함.
• 이전 연구를 일반화한 상관관계를 가진 스토케스틱 예측 오차 모델을 도입하고, 이 모델 하에서 기대 리그레트와 농도 경계를 유도.
• 리그레트를 유한하게 제한하고 수렴 성질을 보장하기 위해 파rameter $\alpha$, $L$, $h$, $\rho = 1 - \alpha/(4L)$ 를 사용한 리아푸노프 유사 분석을 적용.
• 시스템 역학과 비용 함수를 모델링하여 큼지막한 드론 추적 문제에 알고리즘을 적용하고, 예측 오차와 예기치 않은 외란 상황에서도 안정성을 입증.
• 매트릭스 노름과 랜덤 벡터 농도를 사용하여 고확률 형태로 리그레트를 유한하게 제한하며, 감쇠 요소 $\rho^k$ 는 먼 예측 오차의 영향 감소를 반영함.

실험 결과

연구 질문

• RQ1 장기 예측이 정확하지 않은 상황에서, 다단계 향후 예측을 효과적으로 활용하는 기울기 기반 알고리즘이 SOCO에 어떻게 적용될 수 있는가?
• RQ2 더 많은 예측을 사용하는 것(큰 W)과 점점 더 정확도가 떨어지는 장기 예측의 부정적 영향을 피하는 것 사이의 최적의 균형은 무엇인가?
• RQ3 특히 상관관계가 있는 예측 오차는 SOCO의 온라인 알고리즘 성능에 어떤 영향을 미치며, 이를 정량화할 수 있는가?
• RQ4 실제 예측 오차 모델 하에서, 계산 효율성이 높은 기울기 기반 방법이 AFHC와 CHC와 같은 기존 최적화 기반 알고리즘을 능가할 수 있는가?
• RQ5 예측이 노이즈가 많을 경우, 제안된 알고리즘이 예기치 않은 환경 변화나 충격에 얼마나 강건한가?

주요 결과

• RHIG의 리그레트 경계는 예측 단계 $k$에 대해 지수적으로 감소함을 보여, $k$-단계 향후 오차의 영향은 $k$가 증가함에 따라 점점 감소함.
• 최적의 $W$는 환경 변화 $V_T$ 와 예측 오차 사이의 균형을 이룹니다. $V_T$ 가 클수록 큰 $W$가 유리하고, 예측 오차가 클수록 작은 $W$가 유리함.
• 스토케스틱 예측 오차 모델 하에서, 기대 리그레트와 농도 경계 양쪽 모두 장기적 상관관계에 의한 지수 감쇠 효과를 보임.
• 드론 추적에 대한 수치 실험 결과, RHIG는 AFHC와 CHC를 능가하며, 특히 높은 예측 오차 조건에서 뛰어난 성능을 보임.
• RHIG는 예기치 않은 미래 충격에 대해 강건성을 보이며, 다른 알고리즘이 성능 저하를 보이는 상황에서도 안정적인 성능 유지.
• 이론적 리그레트 경계는 $R(W) = \rho^W \frac{2L}{\alpha} C_1 T \log(2) + \mathbf{u}^T \mathbf{A}_W \mathbf{u}$ 이며, $\|\mathbf{A}_W\|_F$ 는 $\rho^t$ 를 따라 감쇠하는 항목으로 유한하게 제한되어 있어 먼 예측의 영향 감소를 확인함.