[论文解读] A Generalized Online Algorithm for Translation and Scale Invariant Prediction with Expert Advice

Kaan Gökcesu, Hakan Gökcesu|arXiv (Cornell University)|Sep 9, 2020

Advanced Bandit Algorithms Research参考文献 30被引用 7

一句话总结

本文提出了一种广义的在线算法，用于专家建议下的预测，其二阶后悔界不依赖于专家损失的平移和缩放。通过使用等价类对策略进行分组，并应用通用预测框架，该算法能够在不了解损失序列先验知识的情况下，高效地与任意专家选择策略竞争，确保在对抗性环境中的鲁棒性和可扩展性。

ABSTRACT

In this work, we aim to create a completely online algorithmic framework for prediction with expert advice that is translation-free and scale-free of the expert losses. Our goal is to create a generalized algorithm that is suitable for use in a wide variety of applications. For this purpose, we study the expected regret of our algorithm against a generic competition class in the sequential prediction by expert advice problem, where the expected regret measures the difference between the losses of our prediction algorithm and the losses of the 'best' expert selection strategy in the competition. We design our algorithm using the universal prediction perspective to compete against a specified class of expert selection strategies, which is not necessarily a fixed expert selection. The class of expert selection strategies that we want to compete against is purely determined by the specific application at hand and is left generic, which makes our generalized algorithm suitable for use in many different problems. We show that no preliminary knowledge about the loss sequence is required by our algorithm and its performance bounds, which are second order, expressed in terms of sums of squared losses. Our regret bounds are stable under arbitrary scalings and translations of the losses.

研究动机与目标

• 开发一种完全在线的、广义的算法框架，用于专家建议下的预测，且对专家损失的平移和缩放具有不变性。
• 在不产生指数级计算成本的前提下，实现对任意专家选择策略（包括动态或演化型策略）的高效竞争。
• 推导仅依赖于二阶统计量（平方损失之和）的后悔界，确保在多样化应用中的稳定性和普适性。
• 消除对损失范围或损失序列统计假设的先验知识需求。
• 通过将相似策略分组为等价类，提供一种可扩展且可计算的方法，以与复杂策略类竞争。

提出的方法

• 该算法采用通用预测视角，与由应用背景定义的通用专家选择策略竞争类进行对抗。
• 引入等价类以对行为相似的策略进行分组，将计算复杂度从指数级降低至可管理规模。
• 核心机制采用基于损失方差和范围动态更新权重的加权平均，确保在损失任意缩放和偏移下保持稳定性。
• 后悔分析基于涉及平方损失之和与各轮间最大损失范围的二阶边界。
• 该框架采用无参数设计，避免了基于损失序列先验知识的调参需求。
• 应用变换函数 $ T(\lambda_{t+1}|\lambda_t) $ 建模策略状态之间的转移，实现对具有固定移动速率等演化策略的追踪。

实验结果

研究问题

• RQ1 能否设计一种在线算法，使其后悔界对专家损失的平移和缩放保持不变？
• RQ2 如何在不产生指数级计算成本的前提下，高效地与广泛专家选择策略类竞争？
• RQ3 当无法获得损失序列的先验知识时，能否为该类算法提供性能保证？
• RQ4 能否在完全在线且通用的前提下实现二阶后悔界，且无需对损失分布做任何假设？
• RQ5 如何构建等价类以最小化冗余，同时保持对演化策略的竞争力？

主要发现

• 该算法实现了平移无关且缩放无关的二阶后悔界，仅依赖于平方损失之和与最大损失范围。
• 后悔界表达为 $ W_T D_T + 2.4 \sqrt{W_T V_T^*} $，其中 $ W_T $ 为权重复杂度，$ D_T $ 为总损失范围，$ V_T^* $ 为损失方差之和。
• 在与具有固定移动速率的策略竞争的情况下，该界简化为 $ (1 + 2\log M) D_T + 2.4 \sqrt{(1 + 2\log M) V_T^*} $，其中 $ M $ 为专家数量，$ T $ 为轮数。
• 通过将策略分组为等价类，该框架实现了对复杂策略类的可扩展竞争，避免了朴素方法中 $ M^T $ 的爆炸性增长。
• 即使损失为对抗性或非平稳的，该算法依然有效，因其对损失序列无任何统计假设。
• 该方法为无参数设计，无需先验知识获取损失范围或方差，因此在多样化应用中具有普适性。