[论文解读] Adaptive Discrete Communication Bottlenecks with Dynamic Vector Quantization

Dianbo Liu, Alex Lamb+5 more|arXiv (Cornell University)|Feb 2, 2022

Advanced Memory and Neural Computing被引用 5

一句话总结

本文提出动态向量量化（DVQ），一种通过根据输入复杂度自适应选择离散化函数池中的函数来调节深度学习模型中通信瓶颈紧密度的方法。通过基于注意力机制选择不同码书大小和因子数量的函数，DVQ在视觉推理和多智能体强化学习任务中相比固定容量的向量量化，提升了泛化能力和性能。

ABSTRACT

Vector Quantization (VQ) is a method for discretizing latent representations and has become a major part of the deep learning toolkit. It has been theoretically and empirically shown that discretization of representations leads to improved generalization, including in reinforcement learning where discretization can be used to bottleneck multi-agent communication to promote agent specialization and robustness. The discretization tightness of most VQ-based methods is defined by the number of discrete codes in the representation vector and the codebook size, which are fixed as hyperparameters. In this work, we propose learning to dynamically select discretization tightness conditioned on inputs, based on the hypothesis that data naturally contains variations in complexity that call for different levels of representational coarseness. We show that dynamically varying tightness in communication bottlenecks can improve model performance on visual reasoning and reinforcement learning tasks.

研究动机与目标

• 为解决固定容量向量量化（VQ）在深度学习中的局限性，即单一瓶颈容量在不同输入复杂度下均非最优。
• 通过根据输入特定复杂度动态调整表示瓶颈的紧密度，提升模型泛化能力。
• 通过将离散化容量适配至输入需求，实现模块化推理和多智能体强化学习中更鲁棒且样本高效的训练。
• 从理论和实证上验证，动态瓶颈化在保持相同训练损失的前提下，通过更紧的平均瓶颈化，可降低泛化误差。

提出的方法

• DVQ 使用一组预定义的离散化函数，每个函数具有不同的码书大小和分段数量（因子），以实现可变的输出容量。
• 对于每个输入，模型通过输入表示与离散化函数之间的键-查询注意力机制，动态选择最合适的函数。
• 选择过程受容量惩罚目标引导，以避免瓶颈过松，从而在可能时促进更紧密、更高效的表示。
• 该方法通过允许多个分段每向量独立离散化，并将生成的离散码连接为最终离散表示，推广了VQ-VAE。
• 训练目标包含离散化损失和与因子数量及码书大小成比例的容量惩罚项，以鼓励高效瓶颈化。
• 该方法支持分层与非分层离散化，实验表明其在视觉推理和多智能体任务中性能更优。

实验结果

研究问题

• RQ1 能否通过动态调整表示瓶颈的紧密度来提升深度学习中的模型泛化能力和性能？
• RQ2 基于输入的离散化容量选择是否优于固定容量的向量量化？
• RQ3 瓶颈紧密度的选择与现实任务中任务难度和离散化难度之间有何关联？
• RQ4 动态瓶颈化能否在保持或提升训练损失的同时减小泛化差距？

主要发现

• 在8项视觉推理任务中，DVQ的表现优于固定容量的VQ，更高的倒数排名（RR）得分表明性能提升。
• 在Particle环境中，动态分层量化和动态量化均显著优于基线VQ（固定粗粒度）。
• 在GhostRun环境中，动态分层量化优于基线，而动态量化与基线性能相当。
• DVQ在更难的任务上使用了更紧的瓶颈，表现为瓶颈容量（因子数和码书大小）与倒数排名（RR）之间存在正相关。
• 高离散化损失与更多因子和更大码书的使用相关，表明DVQ能根据输入复杂度自适应调整。
• 理论分析证实，在保持相同训练损失的前提下，动态瓶颈化可通过更紧的平均瓶颈化提升泛化能力。