[논문 리뷰] New Potential-Based Bounds for Prediction with Expert Advice

Vladimir A. Kobzar, Robert V. Kohn외 1명|arXiv (Cornell University)|2019. 11. 05.

Advanced Bandit Algorithms Research참고 문헌 24인용 수 4

한 줄 요약

이 논문은 최적 제어 이론에서 유도된 편미분방정식(PDE)의 부분해와 초해를 활용하여 온라인 예측의 전문가 조언 문제에 대해 새로운 잠재함수 기반의 경계를 제안한다. 유한 수명 주기 게임에서 임의의 전문가 수에 대해 더 낫게 조정된 손실 경계를 제공하며, 두 명과 세 명의 전문가에 대해 최적의 주요 항을 달성하고, 특정 영역에서 기존 최고 성능의 경계를 개선한다. 이는 폐쇄형 PDE 해를 통해 달성된다.

ABSTRACT

This work addresses the classic machine learning problem of online prediction with expert advice. We consider the finite-horizon version of this zero-sum, two-person game. Using verification arguments from optimal control theory, we view the task of finding better lower and upper bounds on the value of the game (regret) as the problem of finding better sub- and supersolutions of certain partial differential equations (PDEs). These sub- and supersolutions serve as the potentials for player and adversary strategies, which lead to the corresponding bounds. To get explicit bounds, we use closed-form solutions of specific PDEs. Our bounds hold for any given number of experts and horizon; in certain regimes (which we identify) they improve upon the previous state of the art. For two and three experts, our bounds provide the optimal leading order term.

연구 동기 및 목표

• 잠재함수를 사용하여 유한 수명 주기 전문가 문제에 대해 더 낫고 점근적이지 않은 손실 경계를 개발하는 것.
• 잠재함수 기반 방법을 상한을 넘어서 하한까지 확장하기 위해 PDE 부분해와 초해를 통한 하한 유도.
• 기존 최고 성능 결과를 개선하는 영역을 규명하는 것.
• 특정 PDE의 해를 사용하여 임의의 전문가 수와 수명 주기 T에 대해 명시적이고 폐쇄형 경계를 제공하는 것.
• 기존 PDE 기반 접근법을 통합하고 일반화하여 온라인 학습에서 최적 전략을 위한 기반을 제공하는 것.

제안 방법

• 전문가 문제를 0-합 게임으로 재구성하고 최적 제어 이론의 검증 추론을 활용하여 PDE의 부분해와 초해를 잠재함수로 유도.
• 게임의 가치 함수를 해밀토니안-자비-벨만(PDE)의 해로 간주하고 부분해와 초해를 통해 경계를 구성.
• 선형 및 비선형 PDE(예: 열 방정식 및 그 비선형 유사체)의 폐쇄형 해를 적용하여 명시적 경계 생성.
• 최대 잠재함수를 사용한 상한과 대칭 잠재함수를 사용한 하한을 유도하며, 고차 PDE 도함수를 통해 오차 항을 제어.
• 수치적 적분과 랜덤 워크 근사법을 사용하여 경계를 계산하고 비교를 위한 검증 수행.
• N=2 및 N=3 전문가에 대해 경계가 주요 항까지 날카롭게 조정되어 있음을 입증.

실험 결과

연구 질문

• RQ1 PDE의 부분해와 초해를 체계적으로 활용하여 전문가 문제에서 손실의 상한과 하한을 동시에 도출할 수 있는가?
• RQ2 어떤 유형의 잠재함수 클래스가 일반적인 N과 유한한 T에 대해 더 낫고 점근적이지 않은 손실 경계를 제공하는가?
• RQ3 PDE 기반 경계는 알려진 점근적 및 비점근적 결과와 비교해 볼 때, 특히 작은 N에 대해 어떻게 성능을 내는가?
• RQ4 PDE의 폐쇄형 해가 기존 작업을 향상시킬 수 있는 명시적이고 계산 가능한 손실 경계를 도출할 수 있는가?
• RQ5 N=2 및 N=3에 대해 새로운 경계가 최적의 주요 항을 달성하는 매개변수 영역은 어디인가?

주요 결과

• 두 전문가의 경우, 새로운 경계는 손실에서 최적의 주요 항을 달성하며, 기존의 비점근적 최적 전략과 정확히 일치한다.
• 세 전문가의 경우, 경계 역시 최적의 주요 항을 달성하며, 이전의 최고 성능 경계를 향상시킨다.
• 이 방법은 임의의 전문가 수와 유한한 수명 주기 T에 대해 명시적이고 폐쇄형의 손실 경계를 제공하며, 특정 PDE의 해로부터 도출된다.
• 적절한 PDE 매개변수화 하에 상한의 오차 항이 O(N log |t|)임을 입증하여, 이전의 잠재함수 기반 방법보다 향상됨을 보였다.
• 대칭 잠재함수로부터 도출된 하한은 i.i.d. 가우시안 영역에서 알려진 하한과 일치하여 점근적 극한에서의 날카로움을 확인한다.
• 이 프레임워크는 기존 PDE 기반 접근법을 통합하고 확장하여, 부분해와 초해를 통해 상한과 하한을 동시에 도출할 수 있도록 한다.