[论文解读] Hypermodels for Exploration

Vikranth Dwaracherla, Xiuyuan Lu+4 more|arXiv (Cornell University)|Jun 12, 2020

Machine Learning and Algorithms参考文献 15被引用 10

一句话总结

本文提出超模型（hypermodels）——基模型的参数化家族——作为在强化学习中表示认识论不确定性时，深度神经网络集成的计算高效替代方案。通过使用线性超模型或超网络来近似函数后验分布，该方法实现了可扩展的汤普森采样以及信息导向采样等先进探索策略，其性能与大型集成相当，但参数量少得多。

ABSTRACT

We study the use of hypermodels to represent epistemic uncertainty and guide exploration. This generalizes and extends the use of ensembles to approximate Thompson sampling. The computational cost of training an ensemble grows with its size, and as such, prior work has typically been limited to ensembles with tens of elements. We show that alternative hypermodels can enjoy dramatic efficiency gains, enabling behavior that would otherwise require hundreds or thousands of elements, and even succeed in situations where ensemble methods fail to learn regardless of size. This allows more accurate approximation of Thompson sampling as well as use of more sophisticated exploration schemes. In particular, we consider an approximate form of information-directed sampling and demonstrate performance gains relative to Thompson sampling. As alternatives to ensembles, we consider linear and neural network hypermodels, also known as hypernetworks. We prove that, with neural network base models, a linear hypermodel can represent essentially any distribution over functions, and as such, hypernetworks are no more expressive.

研究动机与目标

• 解决在序列决策中使用大规模深度学习集成表示不确定性时计算不可行的问题。
• 克服标准集成的局限性，后者通常因训练成本过高而被限制在几十个模型以内。
• 探究超模型（特别是线性超模型和超网络）在不确定性近似中是否能比集成实现更高的计算效率和更强的表征能力。
• 调查超模型能否支持更复杂的探索策略，如信息导向采样，而这类策略在标准集成中因计算成本过高而不可行。
• 确定超网络在表示函数上的复杂分布时是否相比线性超模型具有优势。

提出的方法

• 使用超模型将潜在索引（从参考分布中抽取）映射到基模型，推广集成方法。
• 通过在扰动数据上使用随机梯度下降训练超模型，以近似基模型的后验分布。
• 采用线性超模型，将高斯分布的潜在变量通过线性变换映射到基模型参数。
• 使用超网络，其中从潜在索引到基模型参数的映射由神经网络实现。
• 通过从超模型输出分布中采样一个基模型，并基于该采样结果选择动作，来近似汤普森采样。
• 使用基于方差的信息导向采样（IDS）变体，利用超模型的不确定性估计来引导探索。

实验结果

研究问题

• RQ1 是否可以通过替代的超模型架构（如线性超模型）在计算效率和近似汤普森采样性能方面超越传统集成？
• RQ2 超模型是否能实现更智能的探索策略（如信息导向采样），而这类策略在集成中因计算成本过高而不可行？
• RQ3 对于复杂函数分布的表示，是否必须使用超网络，还是简单的线性超模型已足够？
• RQ4 当基模型为神经网络时，线性超模型的表征能力如何？
• RQ5 尽管在表达能力上理论等价，超网络在实践中是否在统计性能或训练效率方面优于线性超模型？

主要发现

• 线性超模型在计算效率上相比集成实现巨大提升，使原本需要数百甚至数千个模型才能达到的性能成为可能。
• 在一维稀疏线性Bandit问题中，采用信息导向采样的线性超模型显著优于汤普森采样，遗憾曲线显示其优势明显且持续。
• 当基模型为神经网络时，线性超模型可近似表示任意具有有限定义域的概率分布，如定理1所证明。
• 该理论结果意味着，对于神经网络基模型，超网络在表征能力上并不优于线性超模型。
• 尽管理论表达能力等价，超网络在泛化能力或训练效率方面仍可能具有实际优势，但这一问题尚待进一步研究。
• 超模型的使用使得在复杂环境中有效实现信息导向采样成为可能，表明此类高级探索策略在高效不确定性表示下是可行的。