[논문 리뷰] Parameter-Free Online Convex Optimization with Sub-Exponential Noise

Kwang-Sung Jun, Francesco Orabona|arXiv (Cornell University)|2019. 02. 05.

Advanced Bandit Algorithms Research참고 문헌 27인용 수 7

한 줄 요약

이 논문은 백내장 공간에서의 하위지수적 노이즈를 가진 파arameter-free 온라인 볼록 최적화 알고리즘인 BANCO를 소개한다. 이는 노이즈가 있는 동전 베팅으로의 환원을 통해 구현되며, 기댓값에 대한 최소한의 위험 스케일링이 O(∥u∥√(G² + σ²)T log(1 + ∥u∥T))로 나타나며, 이는 노이즈가 없는 최소 최대 비율과 일치한다. 이는 유계가 아닌 노이즈가 있는 서브기울기와 비교자 노름 또는 노이즈 수준에 대한 사전 지식이 없음에도 불구하고 성립한다.

ABSTRACT

We consider the problem of unconstrained online convex optimization (OCO) with sub-exponential noise, a strictly more general problem than the standard OCO. In this setting, the learner receives a subgradient of the loss functions corrupted by sub-exponential noise and strives to achieve optimal regret guarantee, without knowledge of the competitor norm, i.e., in a parameter-free way. Recently, Cutkosky and Boahen (COLT 2017) proved that, given unbounded subgradients, it is impossible to guarantee a sublinear regret due to an exponential penalty. This paper shows that it is possible to go around the lower bound by allowing the observed subgradients to be unbounded via stochastic noise. However, the presence of unbounded noise in unconstrained OCO is challenging; existing algorithms do not provide near-optimal regret bounds or fail to have a guarantee. So, we design a novel parameter-free OCO algorithm for Banach space, which we call BANCO, via a reduction to betting on noisy coins. We show that BANCO achieves the optimal regret rate in our problem. Finally, we show the application of our results to obtain a parameter-free locally private stochastic subgradient descent algorithm, and the connection to the law of iterated logarithms.

연구 동기 및 목표

• 표준 알고리즘이 기하급수적 위험 페널티로 실패하는 바탕으로, 유계가 아닌 하위지수적 노이즈가 있는 서브기울기를 가진 비제약 온라인 볼록 최적화(OCO) 문제에 도전한다.
• 적대적 노이즈 하에서 유계가 아닌 서브기울기를 가진 파arameter-free OCO는 불가능하다는 최근 하한값을 극복하기 위해 피드백에 대한 확률적 성격을 도입한다.
• 알고리즘을 비교자 노름 ∥u∥과 시간 길이 T에 대해 적응시키며, 사전 지식 없이 최적의 위험 스케일링을 달성한다.
• 노이즈가 있는 동전 베팅과 백내장 공간에서의 농도 불등식 사이의 연결 고리를 설정하며, 반복 로그 법칙과의 관계를 드러낸다.
• 제안된 프레임워크를 적용하여, 첫 번째 파arameter-free 국소적 비밀 유지 확률적 서브기울기 하강 알고리즘을 가능하게 한다.

제안 방법

• 백내장 공간에서의 비제약 OCO 문제를 1차원의 노이즈가 있는 동전 베팅 게임으로 환원하여, 자본 극대화가 위험 최소화와 대응되도록 한다.
• 특정 사전 분포 π(β) ∝ 1/(|β| (ln²(σ₁D|β|) + 1))를 사용하여 새로운 베팅 잠재함수를 설계하여 초마르팅게일 성질과 최적의 농도를 확보한다.
• BANCO를 블랙박스 환원으로 구축: 이중 노름과 서브기울기 피드백을 사용하여 백내장 공간 OCO 문제를 1차원 동전 베팅 게임으로 매핑한다.
• 결과로 얻어진 초마르팅게일에 대해 두프의 부등식을 활용하여 노이즈가 있는 서브기울기 합에 대한 고확률 농도 경계를 유도한다.
• 적응적 스텝 사이즈를 가진 온라인 미러 내림 프레임워크를 활용하여, 반복 로그 법칙의 비율과 일치하는 범주형 값 농도 불등식을 도출한다.
• 노이즈 수준 σ²에 대한 매칭 하한값을 구성함으로써 위험 경계가 상수 요소를 제외하고는 향상될 수 없음을 증명한다.

실험 결과

연구 질문

• RQ1 적대적 노이즈 하에서 하한값이 존재하는 바탕으로, 하위지수적 노이즈로 인해 서브기울기가 무한대가 되는 상황에서도 파arameter-free OCO를 달성할 수 있는가?
• RQ2 ∥u∥에 대한 사전 지식 없이도, ∥u∥와 T에 대해 최적의 위험 스케일링을 달성할 수 있는 알고리즘을 설계할 수 있는가?
• RQ3 하위지수적 노이즈가 있는 비제약 OCO에 대해 가장 날카로운 가능한 위험 경계는 무엇이며, 이는 노이즈가 없는 최소 최대 비율과 일치할 수 있는가?
• RQ4 노이즈가 있는 동전 베팅 프레임워크는 백내장 공간에서 새로운 농도 불등식을 도출할 수 있는가? 만약 그렇다면, 이는 고전적 결과인 반복 로그 법칙과 어떻게 관련이 있는가?
• RQ5 제안된 프레임워크는 차별적 프라이버시에 적용되어, 첫 번째 파arameter-free 국소적 비밀 유지 SGD 알고리즘을 구성할 수 있는가?

주요 결과

• BANCO는 매끄러운 백내장 공간에서 기댓값 위험 경계가 O(∥u∥√(G² + σ²)T log(1 + ∥u∥T))로 나타나며, 이는 최적의 노이즈 없는 최소 최대 비율과 일치한다.
• 노이즈 수준 σ²에 대한 매칭 하한값을 통해 위험 경계가 상수 요소를 제외하고는 향상될 수 없음을 입증하여 최적성의 증명을 확보한다.
• 알고리즘은 반복 로그 법칙의 비율과 일치하는 범주형 값 농도 불등식을 암시하며, 이는 베팅 잠재함수에서 유도된 초마르팅게일에 대해 두프의 부등식을 적용함으로써 도출된다.
• 이 프레임워크는 첫 번째 파arameter-free 국소적 비밀 유지 확률적 서브기울기 하강 알고리즘을 가능하게 하며, Wu 등(2017)의 수렴 비율을 다항로그 항목을 제외하고 일치시킨다.
• π(β) ∝ 1/(|β| (ln²(σ₁D|β|) + 1))의 사전 분포는 최적의 경계를 달성하기 위해 필수적이며, β가 무한대일 경우 표준 사전 분포인 1/(β ln²(β))로 대체될 수 없다.
• 이 방법은 주어진 사전 분포를 정교하게 선택한 노이즈가 있는 동전 베팅이 날카로운 농도 불등식을 이끌어내며, 온라인 학습과 확률 과정 사이의 새로운 다리를 제공한다.