[论文解读] Chasing Convex Bodies and Functions with Black-Box Advice

Nicolas Christianson, Tinashe Handina+1 more|arXiv (Cornell University)|Jun 23, 2022

Advanced Bandit Algorithms Research被引用 8

一句话总结

本文提出了两种新颖的学习增强型算法——Interp 和 BdInterp，用于凸函数追蹤（CFC），利用黑箱建议實現可調節的一致性與魯棒性權衡。透過利用問題的凸性，BdInterp 對 α-多面體函數實現了 (1+ε)-一致性與 O(D/ε)-魯棒性，顯著優於先前的界。

ABSTRACT

We consider the problem of convex function chasing with black-box advice, where an online decision-maker aims to minimize the total cost of making and switching between decisions in a normed vector space, aided by black-box advice such as the decisions of a machine-learned algorithm. The decision-maker seeks cost comparable to the advice when it performs well, known as $ extit{consistency}$, while also ensuring worst-case $ extit{robustness}$ even when the advice is adversarial. We first consider the common paradigm of algorithms that switch between the decisions of the advice and a competitive algorithm, showing that no algorithm in this class can improve upon 3-consistency while staying robust. We then propose two novel algorithms that bypass this limitation by exploiting the problem's convexity. The first, INTERP, achieves $(\sqrt{2}+ε)$-consistency and $\mathcal{O}(\frac{C}{ε^2})$-robustness for any $ε> 0$, where $C$ is the competitive ratio of an algorithm for convex function chasing or a subclass thereof. The second, BDINTERP, achieves $(1+ε)$-consistency and $\mathcal{O}(\frac{CD}ε)$-robustness when the problem has bounded diameter $D$. Further, we show that BDINTERP achieves near-optimal consistency-robustness trade-off for the special case where cost functions are $α$-polyhedral.

研究动机与目标

• 設計用於凸函數追蹤的在線演算法，結合機器學習建議與最壞情況下的魯棒性保證。
• 克服先前建議增強型演算法在切換建議與魯棒基線時所面臨的 3-一致性障礙。
• 透過利用決策空間中的凸性，實現近乎最佳的一致性-魯棒性權衡。
• 提供可調節的性能界，使其隨建議品質與問題幾何結構平滑縮放。
• 將學習增強型在線演算法擴展至更廣泛的 CFC 與 CBC 範疇，並提供可證明的性能保證。

提出的方法

• 提出 Interp，一種元演算法，透過參數化凸組合在黑箱建議與魯棒基線演算法之間進行插值。
• 引入 BdInterp，一種雙競爭型元演算法，根據與最佳決策的距離動態調整建議與魯棒策略之間的權重。
• 採用雙競爭框架，同時對抗建議與最壞情況下的最佳序列進行性能邊界約束。
• 利用凸集與範數的幾何性質推導緊緻的競爭比，特別是在有界直徑設定下。
• 優化參數 γ 和 δ 以平衡一致性和魯棒性，實現 O(D/ε)-魯棒性與 (1+ε)-一致性。
• 在元演算法中使用已知的競爭性演算法（例如，功能史蒂納點、貪心 OBD）作為魯棒組成部分。

实验结果

研究问题

• RQ1 我們能否設計出學習增強型演算法來解決凸函數追蹤問題，使其一致性接近建議值，同時保持最壞情況下的魯棒性？
• RQ2 是否可能突破基於切換的演算法在建議增強型 CFC 中的 3-一致性限制？
• RQ3 是否可以利用凸性來實現比通用黑箱建議方法更好的一致性-魯棒性權衡？
• RQ4 在有界直徑成本函數的 CFC 問題中，一致性與魯棒性的最佳權衡是什麼？
• RQ5 所提出的演算法在結構化子類如 α-多面體或 k-CBC 問題上的表現如何？

主要发现

• BdInterp 對 α-多面體函數實現了 (1+ε)-一致性與 O(D/ε)-魯棒性，顯著優於先前的 O(1/ε²) 魯棒性界。
• 對於一般 CFC 與 CBC 問題，BdInterp 在 d 維空間中使用任意範數實現了 (1+ε)-一致性與 O(dD/ε)-魯棒性。
• Interp 實現了 (√2+ε)-一致性與 O(C/ε²)-魯棒性，其中 C 為底層魯棒演算法的競爭比。
• 在 k-CBC 問題中，BdInterp 實現了 (1+ε)-一致性與 O(kD/ε)-魯棒性，與活躍子空間的維度相符。
• 在 ℓ² 空間上的 α-CFC 問題中，BdInterp 實現了 (1+ε)-一致性與 O(D/(α¹ᐟ²ε))-魯棒性，優於 O(1/(α¹ᐟ²ε²)) 的界。
• BdInterp 的最佳參數調校可實現 O(D/ε) 魯棒性與 (1+ε) 一致性，即使 D 未知亦成立。