[논문 리뷰] Proximal Online Gradient is Optimum for Dynamic Regret

Yawei Zhao, Shuang Qiu외 1명|arXiv (Cornell University)|2018. 10. 08.

Advanced Bandit Algorithms Research참고 문헌 49인용 수 11

한 줄 요약

이 논문은 일반적인 하한을 증명하여 프록시멀 온라인 그라디언트(POG)가 동적 리그레트의 최적임을 입증한다. 이 하한은 POG의 상한과 상수 인자까지 일치하며, 시간 가중 변화 파라미터 $\beta$를 갖는 일반화된 동적 제약 조건을 도입하여, POG가 $\mathcal{O}(\sqrt{T} + \sqrt{T^{1-\beta} D_\beta})$의 리그레트를 달성함을 보여주며, 이는 유도된 하한과 정확히 일치한다. 따라서 이 틀 내에서 동적 리그레트에 대한 최적성은 입증된다.

ABSTRACT

In online learning, the dynamic regret metric chooses the reference (optimal) solution that may change over time, while the typical (static) regret metric assumes the reference solution to be constant over the whole time horizon. The dynamic regret metric is particularly interesting for applications such as online recommendation (since the customers' preference always evolves over time). While the online gradient method has been shown to be optimal for the static regret metric, the optimal algorithm for the dynamic regret remains unknown. In this paper, we show that proximal online gradient (a general version of online gradient) is optimum to the dynamic regret by showing that the proved lower bound matches the upper bound that slightly improves existing upper bound.

연구 동기 및 목표

• 온라인 그라디언트 방법이 동적 리그레트에 대해 최적인지 여부를 규명하는 것, 특히 동적 매개변수 $D_0$에 대한 의존성 측면에서.
• 시간 가중 변화 제약 조건을 $\beta$로 매개변수화하여, 변화하는 기준 시퀀스의 더 유연한 모델링을 가능하게 하여 동적 리그레트 틀을 일반화하는 것.
• 비정상적인 환경을 추적하는 데서의 본질적 어려움을 반영하는 동적 리그레트에 대한 새로운 일반 하한을 유도하는 것.
• 기존 상한과 이론적 최소값 사이의 격차를 메우기 위해 POG가 시간 범위 $T$와 동적 매개변수 $D_\beta$ 사이의 최적 균형을 달성함을 증명하는 것.

제안 방법

• 논문은 시간 가중 요소 $t^\beta$를 사용하여 기준 시퀀스 $\{{\bf y}_t\}$의 총 변화를 제약하는 일반화된 동적 제약 조건 $\mathcal{L}_{D_\beta}^T$를 도입한다.
• 합성 목표 함수 $f_t({\bf x}) = F_t({\bf x}) + H({\bf x})$에 대해 프록시멀 온라인 그라디언트(POG) 알고리즘을 분석하며, 여기서 $F_t$는 볼록이고 $H$는 닫힘과 볼록이다.
• 리그레트를 유 bounds하기 위해 브레그만 발산을 사용하며, 반복값의 브레그만 발산과 그라디언트 및 스텝 사이즈 사이의 핵심 부등식을 유도한다.
• 추적 오차와 최적화 오차 사이의 균형을 제어하기 위해 비증가 스텝 사이즈 스케줄을 사용한다.
• 상한 증명은 브레그만 발산의 텔레스코프 합과 브레그만 발산의 삼각 부등식의 사용에 기반한다.
• 최악의 경우 함수 시퀀스를 구성하여 새로운 하한을 유도하며, 이는 어떤 알고리즘도 최소 $\Omega(\sqrt{T} + \sqrt{T^{1-\beta} D_\beta})$의 리그레트를 초래하게 한다.

실험 결과

연구 질문

• RQ1 온라인 그라디언트 방법은 동적 리그레트에 대해 최적인가, 아니면 더 똑똑한 알고리즘이 동적 매개변수 $D_0$에 대해 더 나은 의존성을 달성할 수 있는가?
• RQ2 비정상적인 환경을 추적하는 데서의 어려움은 시간과 최적 해 시퀀스의 변화율에 따라 어떻게 변화하는가?
• RQ3 비정상적인 환경 추적의 본질적 한계를 반영하는 동적 리그레트에 대한 일반 하한을 도출할 수 있는가?
• RQ4 프록시멀 온라인 그라디언트(POG) 알고리즘이 이 하한을 달성함으로써, 동적 리그레트에 대해 최적임을 입증할 수 있는가?

주요 결과

• 프록시멀 온라인 그라디언트(POG) 알고리즘은 일반화된 동적 제약 조건 $\mathcal{L}_{D_\beta}^T$ 하에서 동적 리그레트 상한 $\mathcal{O}(\sqrt{T} + \sqrt{T^{1-\beta} D_\beta})$를 달성하며, 이는 이전 결과를 일반화한다.
• 당신 $\beta = 0$일 경우, 이 상한은 $\mathcal{O}(\sqrt{T} + \sqrt{T} D_0)$로 축소되며, 표준 동적 리그레트에 대한 알려진 결과와 일치한다.
• $\beta > 0$일 경우, $D_\beta < D_0 T^\beta$일 때 이 상한은 $\beta = 0$의 경우보다 향상되며, 시간 가중 제약 조건 하에서 동적 매개변수에 대한 더 나은 의존성을 반영한다.
• 논문은 동적 리그레트에 대해 일반 하한 $\Omega(\sqrt{T} + \sqrt{T^{1-\beta} D_\beta})$를 도출하였으며, 이는 POG의 상한과 상수 인자까지 일치한다.
• 이러한 하한과 상한의 일치는 제안된 일반화된 틀 내에서 POG가 동적 리그레트에 대해 최적임을 입증한다.
• 이 결과는 주어진 동적 제약 조건 하에서 어떤 알고리즘도 $\mathcal{O}(\sqrt{T} + \sqrt{T^{1-\beta} D_\beta})$보다 더 나은 리그레트 상한을 달성할 수 없음을 의미하며, POG가 최적 알고리즘임을 확립한다.