[论文解读] Efficient and Near-Optimal Online Portfolio Selection

Rémi Jézéquel, Dmitrii M. Ostrovskii+1 more|arXiv (Cornell University)|Sep 28, 2022

Advanced Bandit Algorithms Research被引用 1

一句话总结

该论文提出了一种新颖的在线投资组合选择算法，实现了接近最优的遗憾（在Cover通用投资组合的常数因子范围内），同时将每轮运行时间从 ˜O(d⁴(T + d)¹⁴) 降低至 ˜O(d²(T + d))。该方法通过基于累积损失Hessian矩阵的混合对数-体积障碍函数，最小化正则化的对数损失，将在线投资组合选择与优化中的内点法和切割平面法联系起来。

ABSTRACT

In the problem of online portfolio selection as formulated by Cover (1991), the trader repeatedly distributes her capital over $ d $ assets in each of $ T > 1 $ rounds, with the goal of maximizing the total return. Cover proposed an algorithm, termed Universal Portfolios, that performs nearly as well as the best (in hindsight) static assignment of a portfolio, with an $ O(d\log(T)) $ regret in terms of the logarithmic return. Without imposing any restrictions on the market this guarantee is known to be worst-case optimal, and no other algorithm attaining it has been discovered so far. Unfortunately, Cover's algorithm crucially relies on computing certain $ d $-dimensional integral which must be approximated in any implementation; this results in a prohibitive $ ilde O(d^4(T+d)^{14}) $ per-round runtime for the fastest known implementation due to Kalai and Vempala (2002). We propose an algorithm for online portfolio selection that admits essentially the same regret guarantee as Universal Portfolios -- up to a constant factor and replacement of $ \log(T) $ with $ \log(T+d) $ -- yet has a drastically reduced runtime of $ ilde O(d^2(T+d)) $ per round. The selected portfolio minimizes the current logarithmic loss regularized by the log-determinant of its Hessian -- equivalently, the hybrid logarithmic-volumetric barrier of the polytope specified by the asset return vectors. As such, our work reveals surprising connections of online portfolio selection with two classical topics in optimization theory: cutting-plane and interior-point algorithms.

研究动机与目标

• 开发一种计算高效的在线投资组合选择算法，其遗憾接近通用投资组合的理论最优值。
• 降低现有通用投资组合实现中计算量巨大的运行时间，这些实现随维度 d 增大而表现极差。
• 建立在线投资组合选择与经典优化技术（如内点法和切割平面法）之间的联系。
• 在显著提升计算效率的同时，保持仿射不变的遗憾界。

提出的方法

• 该算法通过最小化累积对数损失并引入损失函数Hessian矩阵的行列式对数作为正则项，实现等价于混合对数-体积障碍函数的正则化。
• 采用基于Hessian矩阵行列式倒数的时间可变正则项，以稳定优化过程并提升收敛性。
• 利用自洽性（self-concordance）和Dikin椭球几何，确保Hessian近似在各轮次中保持准确。
• 采用拟牛顿更新策略，自适应地跟踪累积损失的局部曲率，维持仿射不变性。
• 该算法源自带时间可变正则项的FTRL（Follow-the-Regularized-Leader），从而实现更紧致的遗憾界。
• 通过高效的Hessian近似和障碍函数最小化，避免了通用投资组合所需的全d维积分，从而显著降低运行时间。

实验结果

研究问题

• RQ1 我们能否在不计算高维积分的情况下，实现与通用投资组合相当的遗憾？
• RQ2 是否可能将通用投资组合风格算法的每轮运行时间从 ˜O(d⁴(T + d)¹⁴) 降低至更具可扩展性的 ˜O(d²(T + d))？
• RQ3 Hessian矩阵的对数行列式在构建稳定、高效的在线投资组合算法中起到什么作用？
• RQ4 经典优化技术（如内点法）如何被适配用于在线投资组合选择？
• RQ5 在大幅提高计算效率的同时，能否保持仿射不变的遗憾界？

主要发现

• 所提出的算法实现的遗憾界为 O(d log(T + d))，最多相差一个常数因子，与通用投资组合的理论保证一致。
• 每轮运行时间降低至 ˜O(d²(T + d))，相比先前实现的 ˜O(d⁴(T + d)¹⁴) 显著提升。
• 该方法使用由累积损失Hessian矩阵定义的混合对数-体积障碍函数，将投资组合选择与内点优化联系起来。
• 通过确保Hessian近似在Dikin椭球内保持准确，算法维持了仿射不变性，从而保持几何稳定性。
• 遗憾界通过带时间可变对数障碍正则项的FTRL推导得出，其中障碍参数的衰减速率被调节以跟踪最优静态投资组合。
• 分析表明，遗憾界中的负项源于时间可变正则化引起的Bregman散度差异，有助于控制探索与利用之间的权衡。