[论文解读] Improving Generalization for Abstract Reasoning Tasks Using Disentangled Feature Representations

Xander Steenbrugge, Sam Leroux+2 more|ArXiv.org|Nov 12, 2018

Topic Modeling参考文献 9被引用 38

一句话总结

本论文提出使用解耦的β-VAE从抽象推理任务中的像素输入学习结构化潜在空间，替代WReN模型中的监督式CNN编码器。通过采用逐渐增加β的训练策略以平衡解耦与重建性能，该方法在分布外问题上展现出更优的泛化能力——在困难泛化基准测试中，相比监督式WReN，性能最高提升21.6%。

ABSTRACT

In this work we explore the generalization characteristics of unsupervised representation learning by leveraging disentangled VAE's to learn a useful latent space on a set of relational reasoning problems derived from Raven Progressive Matrices. We show that the latent representations, learned by unsupervised training using the right objective function, significantly outperform the same architectures trained with purely supervised learning, especially when it comes to generalization.

研究动机与目标

• 通过从无监督像素数据中学习解耦的潜在表示，提升抽象推理任务中的泛化能力。
• 探究通过β-VAE学习到的解耦表示是否能在纯监督训练之外提升关系推理能力。
• 评估在β-VAE目标函数中调整β值对程序化推理任务中泛化性能的影响。
• 确定解耦潜在空间是否使WReN架构的关系推理问题更具可解性。

提出的方法

• 将WReN模型中的监督式CNN编码器替换为在PGM数据集上训练的解耦β-VAE编码器，采用修改后的ELBO目标函数。
• 采用可变β的训练策略，从β = 0.5开始，逐步增加至β = 4.0，以先捕捉视觉细节，再强制实现解耦。
• 冻结预训练的VAE编码器，并以之初始化WReN模型，使用64维潜在向量作为输入，替代原始的512维CNN特征。
• 先以固定编码器训练WReN模型6个周期，再进行2个周期的端到端微调，以适应潜在空间。
• 采用与[1]中相同的WReN架构和训练协议，仅在输入表示上存在差异（VAE嵌入表示 vs. 原始CNN特征）。
• 推理时使用后验分布的均值，以确保潜在表示的确定性解码。

实验结果

研究问题

• RQ1 与纯监督学习相比，解耦表示学习是否能提升抽象推理任务中的泛化能力？
• RQ2 在β-VAE目标函数中选择不同的β值，如何影响潜在空间中重建质量与解耦程度之间的权衡？
• RQ3 解耦潜在空间是否能提升在训练过程中未见过的分布外推理问题上的性能？
• RQ4 使用VAE进行无监督预训练是否能改善WReN模型在关系推理任务中的归纳偏置？

主要发现

• 在中性泛化设置下，β = 4.0的VAE-WReN模型在测试集上达到64.2%的准确率，优于CNN-WReN基线模型的62.6%。
• 在最具挑战性的泛化设置（H.O. Triples）中，VAE-WReN模型达到24.6%的测试准确率，而CNN-WReN模型为19.0%，相对提升29.5%。
• VAE-WReN模型在所有泛化设置中均表现出一致的性能提升，尤其在H.O. Attribute Pairs设置中，绝对提升达21.6%（36.8% vs. 27.2%）。
• 潜在空间可视化证实，VAE成功解耦了形状、颜色和物体存在等关键生成因子，并在各维度上表现出清晰的插值效应。
• 该模型在验证集上也优于基线（64.8% vs. 63.0%），表明解耦空间同样提升了分布内性能。
• Cohen’s Kappa评分进一步验证了性能提升，VAE-WReN模型在中性测试集上达到0.591，高于基线的0.573。