[논문 리뷰] Minimax Regret of Switching-Constrained Online Convex Optimization: No Phase Transition

Lin Chen, Qian Yu외 2명|arXiv (Cornell University)|2019. 10. 24.

Advanced Bandit Algorithms Research참고 문헌 22인용 수 9

한 줄 요약

이 논문은 전환 제약이 있는 온라인 볼록 최적화(OCO)의 최소최대 위험을 Θ(T/√K)로 설정하며, 일차원에서는 Ω(T/√(2K))이고 고차원에서는 Ω(T/√K)임을 증명하고, 미니배칭 알고리즘을 통해 엄밀한 O(T/√K) 상한을 확보한다. 이와는 달리 이산적 대응체와는 달리 연속적 설정에서는 단계 전이가 발생하지 않으며, K에 기반한 영역 전환 없이 최적의 속도를 달성한다.

ABSTRACT

We study the problem of switching-constrained online convex optimization (OCO), where the player has a limited number of opportunities to change her action. While the discrete analog of this online learning task has been studied extensively, previous work in the continuous setting has neither established the minimax rate nor algorithmically achieved it. In this paper, we show that $ T $-round switching-constrained OCO with fewer than $ K $ switches has a minimax regret of $ Θ(\frac{T}{\sqrt{K}}) $. In particular, it is at least $ \frac{T}{\sqrt{2K}} $ for one dimension and at least $ \frac{T}{\sqrt{K}} $ for higher dimensions. The lower bound in higher dimensions is attained by an orthogonal subspace argument. In one dimension, a novel adversarial strategy yields the lower bound of $O(\frac{T}{\sqrt{K}})$, but a precise minimax analysis including constants is more involved. To establish the tighter one-dimensional result, we introduce the \emph{fugal game} relaxation, whose minimax regret lower bounds that of switching-constrained OCO. We show that the minimax regret of the fugal game is at least $ \frac{T}{\sqrt{2K}} $ and thereby establish the optimal minimax lower bound in one dimension. To establish the dimension-independent upper bound, we next show that a mini-batching algorithm provides an $ O(\frac{T}{\sqrt{K}}) $ upper bound, and therefore conclude that the minimax regret of switching-constrained OCO is $ Θ(\frac{T}{\sqrt{K}}) $ for any $K$. This is in sharp contrast to its discrete counterpart, the switching-constrained prediction-from-experts problem, which exhibits a phase transition in minimax regret between the low-switching and high-switching regimes.

연구 동기 및 목표

• 기존 연구에서 비율을 규명하거나 알고리즘적으로 달성하지 못한 전환 제약이 있는 온라인 볼록 최적화(OCO)의 최소최대 위험에 대한 이해 격차를 메우기 위해.
• 제한된 전환 수를 가진 연속적 OCO 설정이 이산적 대응체(예: 전문가로부터의 예측)와 같이 단계 전이를 보이는지 여부를 해결하기 위해.
• 차원에 독립적이고 상수 요소까지 최적인 최소 및 최대 위험 한계를 유도하기 위해.
• 일차원 최소최대 하한을 확립하기 위해 도구로 사용하는 후각 게임 완화를 도입하고 분석하기 위해.
• 최적의 O(T/√K) 위험 상한을 달성하는 단순하고 효율적인 알고리즘을 설계하고 분석하기 위해.

제안 방법

• 전환 제약이 있는 OCO의 최소최대 위험을 하한화하는 데 사용할 수 있는 새로운 게임 이론적 프레임워크인 후각 게임 완화를 도입한다.
• 일차원에서 새로운 적대적 전략을 개발하여 최소최대 위험에 대해 Ω(T/√(2K)) 하한을 증명한다.
• 직교 부분공간 논증을 사용하여 고차원에서 Ω(T/√K) 하한을 도출한다.
• T라운드를 K개의 배치로 나누고 각 배치 내에서 표준 OCO 알고리즘을 적용하는 미니배칭 알고리즘을 제안한다.
• 미니배칭 알고리즘이 O(T/√K) 위험 상한을 달성함을 증명하며, 하한과 일치함을 보여 최적성을 입증한다.
• 모든 K에 대해 최소최대 위험은 Θ(T/√K)이며, 저전환 및 고전환 영역 간 단계 전이가 없음을 확립한다.

실험 결과

연구 질문

• RQ1 일차원 및 고차원에서 전환 제약이 있는 OCO의 최소최대 위험 비율은 무엇인가?
• RQ2 전환 제약이 있는 연속적 OCO 설정은 이산적 전문가로부터의 예측 문제에서 관찰된 것과 같이 위험 행동에 단계 전이를 보이는가?
• RQ3 일차원에서 최소최대 위험에 대한 엄밀한 하한(상수 요소 포함)을 확립할 수 있는가?
• RQ4 전환 제약이 있는 OCO 설정에서 최적의 O(T/√K) 위험 비율을 달성하는 단순하고 효율적인 알고리즘이 존재하는가?
• RQ5 최소최대 위험은 허용된 전환 수 K에 따라 어떻게 스케일링되며, 이는 차원에 따라 달라지는가?

주요 결과

• 전환 제약이 있는 OCO의 최소최대 위험은 Θ(T/√K)이며, 저전환 및 고전환 영역 간 단계 전이가 없다.
• 일차원에서는 최소최대 위험은 T/√(2K) 이상이며, 이 하한은 후각 게임 완화를 통해 엄밀하게 확보된다.
• 고차원에서는 최소최대 위험은 T/√K 이상이며, 직교 부분공간 논증을 통해 증명된다.
• 미니배칭 알고리즘은 O(T/√K) 위험 상한을 달성하며, 하한과 일치하여 최적성을 입증한다.
• 최소최대 위험은 차원에 독립적이며, 차원이 증가함에 따라 악화되지 않는다.
• 결과적으로 이는 이산적 전환 제약이 있는 전문가로부터의 예측 문제와는 뚜렷이 대비되며, 이 경우 위험 스케일링에서 단계 전이가 관찰된다.