[論文レビュー] POND: Pessimistic-Optimistic oNline Dispatch.

Xin Liu, Bin Li+2 more|arXiv (Cornell University)|Oct 20, 2020

Advanced Bandit Algorithms Research参考文献 34被引用数 9

ひとこと要約

POND は、到着、報酬、制約の分布が未知である制約付きオンライン意思決定の文脈において、新規のオンラインディスpatchingアルゴリズムである。$O(\sqrt{T})$ のレグレットと $O(1)$ の制約違反を達成し、両者とも鋭い境界であり、合成データおよび実データセットを用いた実証的検証により、低いレグレットと最小限の制約違反が確認された。

ABSTRACT

This paper considers constrained online dispatching with unknown arrival, reward and constraint distributions. We propose a novel online dispatching algorithm, named POND, standing for Pessimistic-Optimistic oNline Dispatching, which achieves $O(\sqrt{T})$ regret and $O(1)$ constraint violation. Both bounds are sharp. Our experiments on synthetic and real datasets show that POND achieves low regret with minimal constraint violations.

研究の動機と目的

• 到着、報酬、制約の分布が未知である状況におけるオンラインディスpatchingを解決すること。
• 制約付きオンライン意思決定において、低いレグレットと有界な制約違反を保証するアルゴリズムを設計すること。
• 分布の知識が欠如する状況において、レグレットと制約違反の鋭い理論的境界を達成すること。
• 合成データおよび実世界のデータセットを用いた、アルゴリズムの性能の実証的検証を行うこと。

提案手法

• POND は、制約下での探索と活用のバランスを取るために、懐疑的・楽観的戦略を採用する。
• リアルタイムで制約違反を追跡・ペナルティ化するために、双対変数を維持する。
• 累積損失を最適なオフラインベンチマークに対して束縛するために、レグレット分解技術を用いる。
• 未知の分布における不確実性を扱うために、信頼区間更新ルールを適用する。
• 制約違反が時間とともに一様に有界に保たれ、$O(1)$ の違反を達成する。
• 新規の懐疑的・楽観的トレードオフメカニズムを介して、オンライン学習と制約付き最適化を統合する。

実験結果

リサーチクエスチョン

• RQ1 到着、報酬、制約の分布が未知である状況下で、オンラインディスpatchングアルゴリズムが $O(\sqrt{T})$ のレグレットを達成できるか？
• RQ2 分布の不確実性が存在する中でも、このようなアルゴリズムが $O(1)$ の制約違反を維持できるか？
• RQ3 このような懐疑的・楽観的戦略は、制約付き設定における既存のオンライン学習手法と比べてどのように異なるか？
• RQ4 POND は合成データおよび実データセットにおいて、レグレットと制約違反の観点で、どのような実証的性能を示すか？

主な発見

• POND は、分布が未知である状況下でのオンライン学習において、最良のレートである $O(\sqrt{T})$ のレグレットを達成する。
• アルゴリズムは $O(1)$ の制約違反を保証しており、これは違反が時間とともに増加しないことを意味する。
• レグレットと制約違反の両方の境界が鋭く、漸近的意味で改善の余地がないことを示している。
• 合成データおよび実データセットにおける実証的結果から、低いレグレットと最小限の制約違反が確認された。
• 懐疑的・楽観的設計は、実際の探索と制約遵守のバランスを効果的に実現している。