[论文解读] Stochastic Linear Bandits with Hidden Low Rank Structure

Sahin Lale, Kamyar Azizzadenesheli+2 more|arXiv (Cornell University)|Jan 28, 2019

Advanced Bandit Algorithms Research参考文献 23被引用 14

一句话总结

该论文提出投影随机线性Bandit（PSLB）算法，通过基于主成分分析（PCA）的投影方法，揭示高维动作表征中的隐藏低秩结构，显著降低随机线性Bandit的遗憾。通过利用无监督动作向量进行子空间恢复，PSLB的遗憾界依赖于内在子空间维数 $\Upsilon$ 而非环境维数 $d$，在 $d=1000$ 的高维设置下（如MNIST和CIFAR-10），其性能优于OFUL。

ABSTRACT

High-dimensional representations often have a lower dimensional underlying structure. This is particularly the case in many decision making settings. For example, when the representation of actions is generated from a deep neural network, it is reasonable to expect a low-rank structure whereas conventional structures like sparsity are not valid anymore. Subspace recovery methods, such as Principle Component Analysis (PCA) can find the underlying low-rank structures in the feature space and reduce the complexity of the learning tasks. In this work, we propose Projected Stochastic Linear Bandit (PSLB), an algorithm for high dimensional stochastic linear bandits (SLB) when the representation of actions has an underlying low-dimensional subspace structure. PSLB deploys PCA based projection to iteratively find the low rank structure in SLBs. We show that deploying projection methods assures dimensionality reduction and results in a tighter regret upper bound that is in terms of the dimensionality of the subspace and its properties, rather than the dimensionality of the ambient space. We modify the image classification task into the SLB setting and empirically show that, when a pre-trained DNN provides the high dimensional feature representations, deploying PSLB results in significant reduction of regret and faster convergence to an accurate model compared to state-of-art algorithm.

研究动机与目标

• 解决标准随机线性Bandit（SLB）在高维特征空间中 $d$ 较大时遗憾过高的问题。
• 在稀疏性假设不再成立时，利用深度学习特征中常见的动作表征隐藏低秩结构。
• 开发一种方法，同时利用有监督（被选择）和无监督（未被选择）动作来恢复潜在的低维子空间。
• 通过减少对环境维数 $d$ 的依赖，转而基于内在子空间维数 $\Upsilon$ 来改进遗憾界。
• 设计一种算法，动态适应子空间恢复的难度，同时保持遗憾保证。

提出的方法

• 对决策集中所有动作向量应用主成分分析（PCA），以估计潜在的低维子空间。
• 在每轮中，将所有动作向量投影到估计的 $m$-维子空间上，以降低维度并简化学习。
• 在投影后的子空间中维护对未知奖励参数的置信集，利用OFU原则进行乐观探索。
• 通过置信集的交集确保当估计子空间不准确时的鲁棒性，保证性能不劣于OFUL。
• 通过迭代更新子空间估计，使用所有观测到的动作向量（包括未被选择的）以随时间提高恢复精度。
• 将投影后的置信集整合进类似OFUL的算法中，以在低维空间中平衡探索与利用。

实验结果

研究问题

• RQ1 如何在高维随机线性Bandit中利用无监督动作向量来恢复潜在的低秩结构？
• RQ2 当真实动作表征位于低维子空间附近时，可实现怎样的遗憾界？与标准SLB的遗憾界相比如何？
• RQ3 在稀疏性假设失效的高维SLB设置中（如深度神经网络特征），基于PCA的投影能否降低遗憾？
• RQ4 当环境维数 $d$ 较大（如 $d=1000$）且子空间维数 $m$ 适中时，PSLB与OFUL的性能相比如何？
• RQ5 在何种条件下PSLB优于OFUL，又在何种条件下通过置信集交集机制保持性能相当？

主要发现

• PSLB实现了遗憾上界 $\widetilde{\mathcal{O}}\left(\min\left\{\Upsilon\sqrt{T}, d\sqrt{T}\right\}\right)$，其中 $\Upsilon$ 反映了子空间恢复的难度，在 $\Upsilon \ll d$ 时显著优于 $\widetilde{\mathcal{O}}\left(d\sqrt{T}\right)$。
• 在 $d=1000$ 的MNIST和CIFAR-10实验中，PSLB的遗憾显著低于OFUL，尤其在子空间维数 $m \geq 8$ 时表现更优。
• 即使对于 $m=1$，PSLB在早期轮次中也能实现近零遗憾，表明其具有强大的初始学习效率。
• 当子空间恢复困难时，PSLB通过置信集交集机制与OFUL保持性能相当。
• 在基于ImageNet的SLB实验中（$d=100$，1000个动作），PSLB通过利用无监督动作向量，收敛更快且累积错误远少于OFUL。
• 实验结果表明，PSLB的遗憾在所有测试的 $d$ 值下均持续低于OFUL，且随着 $d$ 增大，差距进一步扩大。