[논문 리뷰] On the asymptotic optimality of the comb strategy for prediction with expert advice

Erhan Bayraktar, Ibrahim Ekren외 1명|arXiv (Cornell University)|2019. 02. 06.

Advanced Bandit Algorithms Research참고 문헌 19인용 수 6

한 줄 요약

이 논문은 4명의 전문가가 있는 예측 문제에서 조합 전략의 渐近 최적성에 대해 PDE와 확률적 분석을 사용하여 증명한다. 초기 조건이 작은 지수적 정지 매개변수 $\delta > 0$에 대해, 초순환 PDE 시스템을 통해 가치 함수의 정확한 渐近 전개를 유도하고, 이를 해밀턴-자코비-벨리만 방정식과 대조하여 검증함으로써, 최선의 위험도가 $\frac{\pi}{4\sqrt{2\delta}}$로 증가함을 확인하여 Gravin 등(2012)의 추측을 검증한다.

ABSTRACT

For the problem of prediction with expert advice in the adversarial setting with geometric stopping, we compute the exact leading order expansion for the long time behavior of the value function. Then, we use this expansion to prove that as conjectured in Gravin et al. [12], the comb strategies are indeed asymptotically optimal for the adversary in the case of 4 experts.

연구 동기 및 목표

• Gravin, Peres, 및 Sivan(2012)이 제기한 4명의 전문가가 있는 예측 문제에서의 위험도 渐近 행동에 관한 두 가지 추측을 해결하기 위해.
• 작은 기하학적 정지 매개변수 $\delta > 0$에 대해, 장기적 행동에 대응하는 가치 함수의 정확한 주요 항 전개를 도출하기 위해.
• 자연이 최고와 최악의 전문가를 선택하는 조합 전략이 4명의 전문가 케이스에서 적대자에게 渐近적으로 최적임을 증명하기 위해.
• PDE 이론, 반사 브라운 운동, 초순환 시스템을 융합한 새로운 방법을 개발하여 가치 함수를 명시적으로 계산하기 위해.
• 제안된 가치 함수가 해밀턴-자코비-벨리만 방정식을 만족함을 검증하여 조합 전략의 최적성을 확인하기 위해.

제안 방법

• 장기적 행동을 특징짓는 극한 타원형 PDE(2.5)를 도출하기 위해 스케일링된 가치 함수와 점성 해 이론을 사용한다.
• 레마 4.1을 통해 가치 함수를 첫 번째 옥타트에서 기울게 반사된 브라운 운동의 기대 국소 시간과 연결한다.
• 반사 영역의 경계 면에서 가치를 특징짓기 위해 일阶 초순환 PDE 시스템(5.17)과 (5.18)을 사용한다.
• 대칭성과 경계 조건을 활용하여 초순환 시스템을 명시적으로 해석함으로써 영역 내에서 가치 함수를 계산한다.
• 최대 원리(제안 5.4)를 적용하여 수정 항의 음이 아닌 성질을 검증하고 HJB 방정식과의 일致성을 확보한다.
• 섹션 6에서 검증 추론을 수행하여 구성된 가치 함수가 HJB 방정식을 만족함을 확인함으로써 조합 전략의 최적성을 증명한다.

실험 결과

연구 질문

• RQ1 4명의 전문가에 대해 조합 전략이 $\frac{\pi}{4\sqrt{2\delta}}$의 渐近 위험도 증가율을 달성하는가?
• RQ2 PDE와 확률 과정을 사용하여 4명의 전문가 예측 문제의 가치 함수를 명시적으로 계산할 수 있는가?
• RQ3 조합 전략은 4명의 전문가 기하학적 정지 문제에서 적대자에게 渐近적으로 최적인가?
• RQ4 초순환 PDE 시스템을 사용하여 반사 영역의 경계에서 가치 함수를 특징지울 수 있는가?
• RQ5 제안된 해가 장기적 극한에 대해 해밀턴-자코비-벨리만 방정식을 만족하는가?

주요 결과

• 4명의 전문가에 대해 가치 함수의 주요 항 전개는 $\frac{\pi}{4\sqrt{2\delta}}$로 나타나며, $\delta \to 0^+$일 때 Gravin 등(2012)의 추측을 확인한다.
• 기대 국소 시간을 특징짓는 초순환 PDE 시스템(5.17)과 (5.18)을 통해 가치 함수가 명시적으로 계산된다.
• 해가 해밀턴-자코비-벨리만 방정식(2.5)를 만족함을 검증하여, 조합 전략이 적대자에게 渐近적으로 최적임을 증명한다.
• 최대 원리(제안 5.4)는 수정 항의 음이 아닌 성질을 보장하며, 이는 검증 추론에 필수적이다.
• 기본적으로 $N \geq 5$명의 전문가로의 일반화가 가능하며, 기울게 반사된 브라운 운동의 불변 집합을 특징지울 수 있을 경우에 한해.
• 渐近 위험도 스케일링은 다항 가중치 알고리즘의 기존 한계와 일치하여 기존 학습 이론 결과와의 일致성을 확인한다.