[论文解读] Drop-Bottleneck: Learning Discrete Compressed Representation for Noise-Robust Exploration

Jaekyeom Kim, Minjung Kim+2 more|arXiv (Cornell University)|Mar 23, 2021

Adversarial Robustness in Machine Learning参考文献 36被引用 9

一句话总结

本文提出了一种名为 Drop-Bottleneck 的新型信息瓶颈方法，通过离散地丢弃无关输入特征，生成确定性、压缩的表示，以实现对噪声的鲁棒表示学习。该方法联合学习特征提取与选择，在噪声环境和稀疏奖励强化学习任务中表现达到最先进水平，并在对抗鲁棒性和降维方面优于 VIB。

ABSTRACT

We propose a novel information bottleneck (IB) method named Drop-Bottleneck, which discretely drops features that are irrelevant to the target variable. Drop-Bottleneck not only enjoys a simple and tractable compression objective but also additionally provides a deterministic compressed representation of the input variable, which is useful for inference tasks that require consistent representation. Moreover, it can jointly learn a feature extractor and select features considering each feature dimension's relevance to the target task, which is unattainable by most neural network-based IB methods. We propose an exploration method based on Drop-Bottleneck for reinforcement learning tasks. In a multitude of noisy and reward sparse maze navigation tasks in VizDoom (Kempka et al., 2016) and DMLab (Beattie et al., 2016), our exploration method achieves state-of-the-art performance. As a new IB framework, we demonstrate that Drop-Bottleneck outperforms Variational Information Bottleneck (VIB) (Alemi et al., 2017) in multiple aspects including adversarial robustness and dimensionality reduction.

研究动机与目标

• 解决强化学习中任务无关或噪声信息的挑战，特别是在稀疏奖励和噪声观测设置下。
• 克服现有基于神经网络的信息瓶颈方法的局限性，这些方法通常产生随机表示，且缺乏特征选择与压缩的联合学习。
• 开发一种可处理的、确定性的压缩机制，以降低特征维度，同时保持下游任务的预测性能。
• 设计一种利用压缩表示生成内在奖励的噪声鲁棒探索方法。
• 与变分信息瓶颈（VIB）及特征选择基线相比，展示出在对抗样本上的更强鲁棒性以及更有效的降维能力。

提出的方法

• Drop-Bottleneck 通过为每个特征维度学习可学习的特征丢弃概率，离散地丢弃被认为与目标变量无关的输入特征，实现特征压缩。
• 该方法联合训练一个特征提取器和一个可微的丢弃概率头，实现特征提取与选择的端到端学习。
• 压缩目标被形式化为一个可处理的优化问题，以在压缩表示与目标变量之间的互信息之间取得平衡。
• 通过对接收概率应用硬阈值，推导出确定性的压缩表示，确保推理过程的一致性与稳定性。
• 探索方法利用经验记忆存储压缩表示，并基于记忆中对新观测的可预测性计算内在奖励。
• 该框架通过信息瓶颈目标的变分近似进行训练，其中超参数 β 控制压缩与预测之间的权衡。

实验结果

研究问题

• RQ1 与 VIB 等随机方法相比，离散特征丢弃是否能提供更稳定、更确定性的压缩表示？
• RQ2 在噪声或稀疏奖励强化学习环境中，联合学习特征提取与选择是否能提升性能？
• RQ3 Drop-Bottleneck 是否相比 VIB 和传统特征选择方法具备更好的对抗鲁棒性？
• RQ4 Drop-Bottleneck 在保持下游任务高性能的前提下，能在多大程度上降低特征维度？
• RQ5 在泛化能力和鲁棒性方面，与随机或人工选择的特征表示相比，Drop-Bottleneck 的确定性压缩表示表现如何？

主要发现

• 在 VizDoom 和 DMLab 导航任务中，Drop-Bottleneck 在噪声和稀疏奖励条件下实现了最先进性能，优于先前的基于好奇心和 IB 的探索方法。
• 仅使用 8 个特征时，Drop-Bottleneck（确定性）在目标 ℓ∞ 攻击下的攻击成功率为 2.0%，而基于互信息的特征选择方法为 85.5%，表明其具有显著更优的对抗鲁棒性。
• 在 ImageNet 上，Drop-Bottleneck 仅用 4 个特征即可保持超过 71% 的 top-1 准确率，而基于互信息的特征选择方法在相同条件下准确率降至约 10%。
• Drop-Bottleneck 的确定性压缩表示几乎保留了原始表示的所有预测能力，在 Occluded CIFAR 数据集上性能下降极小。
• 在探索流程中用 VIB 替换 Drop-Bottleneck 导致性能显著下降，证实了该方法在鲁棒性方面具有独特贡献。
• 通过超参数 β 可灵活控制降维与性能之间的权衡，实现针对不同推理需求的可配置压缩。